Лучше путем сравнения: Контрастное рассуждение с дополненным поиском для автоматической оптимизации промптов

Исследование представляет метод автоматической оптимизации промптов (CRPO), который заставляет LLM улучшать исходный промпт, анализируя и сравнивая примеры разного качества. Вместо того чтобы просто следовать инструкции, модель сначала изучает, почему одни промпты работают хорошо, а другие — плохо, и на основе этого "контрастного рассуждения" создает более эффективную версию.

Ключевой результат: Показ LLM не только хороших, но и плохих примеров (контрастное обучение) значительно эффективнее для создания качественных промптов, чем просто предоставление хороших примеров (few-shot) или рассуждение "шаг за шагом" (CoT).

Представьте, что вы учите стажера писать деловые письма. Вы можете дать ему идеальный шаблон (это аналог few-shot prompting). Но гораздо эффективнее будет показать ему три письма: одно — ужасное (грубое, с ошибками), второе — среднее (сухое и неинформативное), и третье — отличное (вежливое, структурированное, по делу). Затем вы просите стажера проанализировать, что делает отличное письмо отличным, а ужасное — ужасным. После такого анализа он напишет новое письмо гораздо лучше.

Исследование "Better by Comparison" применяет именно этот подход к LLM. Метод, названный CRPO (Contrastive Reasoning Prompt Optimization), по сути, является "мета-промптингом" — техникой, где вы с помощью одного промпта заставляете LLM создать другой, улучшенный промпт.

Для обычного пользователя это означает, что вместо того, чтобы сразу пытаться написать идеальный промпт, можно использовать LLM как своего помощника-оптимизатора. Вы "скармливаете" ей примеры неудачных и удачных промптов на похожую тему и просите, основываясь на этом анализе, создать для вас наилучший промпт для вашей текущей задачи.

Метод предлагает две основные стратегии, которые пользователь может имитировать вручную: 1. "Иерархическое" сравнение (Tiered Contrastive Reasoning): Показать модели примеры промптов "высокого", "среднего" и "низкого" качества и попросить ее извлечь уроки: перенять сильные стороны лучших и избежать ошибок худших. 2. "Многокритериальное" сравнение (Multi-Metric Contrastive Reasoning): Показать модели несколько хороших промптов, каждый из которых силен в чем-то одном (один — очень креативный, другой — предельно точный, третий — идеально структурированный) и попросить ее синтезировать новый промпт, который объединит все эти сильные стороны.

• Прямая применимость: Пользователь может напрямую применить этот метод, создав "мета-промпт". Для этого нужно вручную подготовить 1-2 плохих и 1-2 хороших примера промптов для задачи, аналогичной его собственной. Затем в одном большом промпте он подает эти примеры модели, описывает свою конечную цель и просит LLM, проанализировав контраст, сгенерировать для него оптимальный промпт. Это особенно полезно для сложных и повторяющихся задач.

• Концептуальная ценность: Огромна. Исследование меняет парадигму взаимодействия с LLM. Пользователь начинает понимать, что LLM — это не просто исполнитель, а "рассуждающий агент", которого можно и нужно обучать на примерах. Ключевая концепция: LLM лучше понимает, "что такое хорошо", когда видит это в сравнении с "что такое плохо". Это знание помогает формулировать более точные и эффективные few-shot примеры в любых других задачах.

• Потенциал для адаптации: Метод легко адаптируется. Вместо того чтобы оптимизировать целый промпт, можно использовать контрастные примеры для улучшения отдельных его частей. Например, можно показать модели примеры хорошего и плохого стиля ответа, хорошей и плохой структуры JSON, и попросить ее придерживаться хорошего образца. Механизм адаптации прост: "Посмотри на этот неудачный пример А. Посмотри на этот удачный пример Б. Теперь сделай для меня В, используя принципы из примера Б и избегая ошибок из примера А".

Представим, что SMM-менеджер хочет создать универсальный промпт для генерации рекламных постов в соцсетях о новых кофейных блендах. Он использует метод контрастного рассуждения, чтобы LLM сама помогла ему создать этот идеальный промпт.

Ты — эксперт мирового класса по промпт-инжинирингу. Твоя задача — проанализировать примеры промптов разного качества и на их основе создать один, наилучший промпт для генерации рекламных постов.

# Контекст
Мне нужен универсальный промпт для создания постов в Instagram о новых сортах кофе.

---

### 1. Плохие примеры промптов (Low-Quality)

**Пример 1 (слишком короткий):**
`Напиши пост про кофе.`

**Пример 2 (слишком расплывчатый и перегруженный):**
`Мне нужен очень вовлекающий, виральный, но в то же время экспертный и детальный пост про наш новый кофе "Утренняя Звезда" с нотками шоколада и орехов из Эфиопии, который понравится и хипстерам, и офисным работникам. Сделай его длинным, но не скучным.`

**Анализ недостатков:** Первый промпт не дает контекста. Второй — содержит противоречивые и нечеткие инструкции ("виральный, но экспертный"), что сбивает модель с толку.

---

### 2. Хороший пример промпта (High-Quality)

`Ты — SMM-менеджер известной кофейни. Создай 3 варианта коротких и вовлекающих постов для Instagram о нашем новом бленде "Утренняя Звезда".
- **Обязательно упомяни:** вкус (нотки темного шоколада и лесного ореха) и происхождение (Эфиопия, регион Иргачефф).
- **Структура поста:** яркий заголовок, 2-3 предложения основного текста, призыв к действию ("Попробуйте в наших кофейнях!").
- **Стиль:** дружелюбный и аппетитный.
- **Добавь:** 2-3 релевантных эмодзи и 4-5 хэштегов (#новыйкофе #кофемосква #утренняязвезда).`

**Анализ достоинств:** Этот промпт задает роль, четко определяет задачу, предоставляет конкретные детали (вкус, происхождение), задает структуру и формат ответа, а также указывает на стиль.

---

### 3. Твоя задача

Изучив сильные и слабые стороны приведенных выше примеров, **создай один, финальный, наилучший и универсальный промпт**. Этот промпт должен быть шаблоном, в который я смогу легко подставлять данные о любом новом сорте кофе (название, вкус, происхождение) и получать качественные посты для Instagram. Промпт должен быть максимально четким, структурированным и эффективным.

Этот промпт работает, потому что он в точности имитирует "иерархическое контрастное рассуждение" (Tiered Contrastive Reasoning) из исследования.

1. Предоставление контрастных примеров: Промпт явно разделяет примеры на <Плохие> и <Хороший>. Это создает для LLM четкий контраст, позволяя ей "увидеть" разницу между неэффективными и эффективными инструкциями.
2. Стимуляция рефлексивного анализа: В промпте содержится краткий Анализ недостатков и Анализ достоинств. Это заставляет модель не просто прочитать примеры, а сфокусироваться на том, почему одни работают, а другие нет.
3. Интеграция сильных сторон: Финальная инструкция (Создай один, финальный, наилучший... промпт) прямо указывает модели использовать сделанные выводы для синтеза нового, улучшенного артефакта. Модель не просто копирует хороший пример, а обобщает его принципы (роль, структура, плейсхолдеры для данных) для создания универсального шаблона.

Задача: создать промпт, который поможет извлекать ключевую информацию из новостных статей для составления ежедневного дайджеста.

Твоя задача — помочь мне создать идеальный промпт для анализа новостных статей. Проанализируй примеры ниже и создай на их основе лучший, структурированный промпт.

### Пример плохого промпта (чего нужно избегать)

`Кратко перескажи статью.`

*Причина провала: Этот промпт не дает модели понимания, что именно важно, в каком формате нужен ответ и для какой цели делается саммари.*

---

### Пример хорошего промпта (к чему нужно стремиться)

`Ты — аналитик в новостном агентстве. Прочитай статью ниже и извлеки из нее ключевую информацию в формате JSON.

{
"source": "URL или название издания",
"main_subject": "Главный герой или компания новости",
"key_event": "Что произошло (одно предложение)",
"impact": "Кого и как это затронет",
"quote": "Самая важная цитата из текста"
}`

*Причина успеха: Этот промпт задает роль, указывает на точный формат вывода (JSON) и определяет конкретные поля для извлечения. Он предсказуем и надежен.*

---

### Задание

Основываясь на сравнении этих двух подходов, **сгенерируй улучшенный промпт-шаблон для анализа новостей**. Он должен быть еще более надежным и гибким. Добавь в него:
1.  Возможность указать язык вывода.
2.  Поле для оценки тональности новости (позитивная, негативная, нейтральная).
3.  Инструкцию игнорировать рекламные вставки в тексте.

Создай этот промпт как готовый к копированию текст.

Этот пример эффективно использует принцип контрастного рассуждения, чтобы перейти от хорошего промпта к отличному.

1. Четкий контраст: Модель видит два полярных примера — максимально неэффективный (Кратко перескажи) и высокоэффективный (структурированный JSON). Это мгновенно задает вектор для улучшения.
2. Явное указание на причины: Краткие комментарии (Причина провала, Причина успеха) служат для LLM "аннотациями", которые помогают ей сфокусироваться на ключевых атрибутах качества: структура, конкретика, формат вывода.
3. Задача на синтез и улучшение: Финальное задание не просит просто скопировать хороший пример. Оно просит "сгенерировать улучшенный промпт-шаблон", добавляя новые требования (язык, тональность, игнорирование рекламы). Модель вынуждена не просто воспроизвести, а интегрировать принципы из хорошего примера с новыми задачами, демонстрируя глубокое понимание концепции, а не поверхностное копирование. Это симулирует "многокритериальное рассуждение", где к существующим критериям (структура, точность) добавляются новые.