REGEN: набор данных и бенчмарки с естественными языковыми критиками и нарративами

Этот пример демонстрирует, что метод "критики" работает не только с фактическими атрибутами (как цвет или цена), но и с абстрактными понятиями, такими как стиль и тон.

• Целевая коррекция стиля: Промпт не просит "переписать", а дает конкретные векторы для изменения: **Тон: сделай дружелюбным**, **Структура: начни с вопроса**. Это направляет творческий процесс LLM в нужное русло.
• Декомпозиция задачи: Использование буллетов и ключевых слов (Тон:, Структура:, Эмодзи:) помогает модели четко понять, какие аспекты предыдущего ответа нужно переработать.
• Сохранение сути: Модель не придумывает новую тему, она сохраняет всю ключевую информацию о вебинаре из первого ответа, но "переупаковывает" ее в соответствии с новыми стилистическими требованиями. Это гораздо эффективнее, чем заново объяснять LLM всю информацию о продукте в новом, более подробном промпте.

Исследование показывает, что LLM-агенты (вроде чат-ботов) становятся гораздо точнее, если после получения ответа пользователь дает короткую, конкретную обратную связь (критику), указывая, что именно нужно изменить. Авторы создали специальный набор данных REGEN, чтобы доказать: добавление таких "критик" в диалог значительно улучшает качество следующих рекомендаций и ответов.

Ключевой результат: Короткая, уточняющая критика (например, "нужно с синими пуговицами, а не с красными") работает гораздо эффективнее, чем новый общий запрос.

Суть метода, который можно извлечь из этого исследования, заключается в технике итеративного управления (Steering) LLM через критику. Вместо того чтобы пытаться создать один идеальный и исчерпывающий промпт, пользователь вступает в диалог с моделью и корректирует ее ответы шаг за шагом.

Представьте, что вы получили от LLM ответ, который в целом неплох, но не идеален. Вместо того чтобы удалять диалог и начинать заново с более сложным промптом, вы делаете следующее:

1. Принимаете текущий ответ за основу. Вы не отбрасываете его, а используете как отправную точку.
2. Формулируете короткую и конкретную "критику". Это не жалоба, а четкая инструкция по изменению. Критика должна указывать на конкретные атрибуты, которые нужно добавить, убрать или изменить.
3. Отправляете эту критику как следующий промпт в диалоге. Модель использует контекст предыдущего ответа и вашу поправку, чтобы сгенерировать новый, более точный результат.

Этот подход превращает взаимодействие с LLM из серии одиночных выстрелов в управляемый полет к цели. Вы становитесь штурманом, который корректирует курс, а не просто вводит координаты пункта назначения один раз. Исследование доказывает, что модели отлично обучены такому "рулению" и этот метод значительно повышает их полезность.

• Прямая применимость: Метод абсолютно готов к использованию "из коробки". Пользователь может вести диалог итеративно в любом чат-боте (ChatGPT, Claude, Gemini). Получив ответ, следующим сообщением он отправляет не новый запрос, а поправку к предыдущему. Например, после получения плана путешествия можно написать: "Отлично, а теперь замени все музеи на парки и добавь варианты для ужина не дороже 20$".

• Концептуальная ценность: Главная идея — LLM это не поисковик, а собеседник. Он помнит контекст и может корректировать свой "курс" на основе обратной связи. Это учит пользователя не "сбрасывать" диалог при первой неточности, а "доводить" модель до нужного результата, что экономит время и усилия. Пользователь начинает понимать, что контекст диалога — это его самый мощный инструмент.

• Потенциал для адаптации: Метод универсален и легко адаптируется. "Критика" — это просто указание на конкретные атрибуты.

  • Для текста: тон, стиль, длина, целевая аудитория, ключевые слова.
  • Для рекомендаций: цвет, цена, бренд, функция, материал.
  • Для планирования: бюджет, время, тип активности, количество участников. Механизм адаптации прост: определите, какой аспект ответа вас не устраивает, и дайте четкую команду на его изменение.

Представим, что пользователь хочет составить план здорового питания на неделю.

Промпт 1 (Начальный):

Привет! Составь мне, пожалуйста, план здорового питания на 3 дня. Я хочу сбалансированное меню с завтраком, обедом и ужином.

LLM генерирует стандартный план с овсянкой, куриной грудкой и салатами.

Промпт 2 (Критика/Уточнение):

Это хорошая основа, спасибо! А теперь внеси, пожалуйста, несколько правок в этот план:

1.  **Убери все блюда с курицей.** Замени их на рыбу или вегетарианские альтернативы с высоким содержанием белка (например, тофу или чечевицу).
2.  **Сделай завтраки более быстрыми.** У меня нет времени готовить кашу по утрам. Предложи что-то, что можно сделать за 5-10 минут.
3.  **Добавь один "чистый" десерт** на каждый день, например, фрукт или немного темного шоколада.

Этот промпт эффективен, потому что он не заставляет модель начинать с нуля. Он использует механику итеративного уточнения, описанную в исследовании:

• Использование контекста: Промпт начинается с фразы "Это хорошая основа", давая модели понять, что нужно работать с предыдущим ответом, а не генерировать новый план.
• Конкретные ограничения: Вместо абстрактного "сделай получше", пользователь дает четкие, измеримые инструкции. Конструкция **Убери [X] и замени на [Y]** является прямой и понятной командой.
• Структурирование критики: Использование нумерованного списка разбивает сложную задачу на простые подзадачи. Модель может последовательно обработать каждое требование (заменить курицу, ускорить завтраки, добавить десерт), что повышает точность и полноту итогового ответа.

Пользователь — SMM-менеджер, которому нужно написать анонс для поста в социальные сети.

Промпт 1 (Начальный):

Напиши текст для поста в Instagram о предстоящем вебинаре на тему "Основы инвестирования для начинающих".

LLM генерирует стандартный, немного сухой и формальный текст.

Промпт 2 (Критика/Уточнение):

Неплохо, но давай полностью изменим стиль.

- **Тон:** Сделай его более дружелюбным и неформальным, обращайся к аудитории на "ты".
- **Структура:** Начни с вопроса, который цепляет боль аудитории (например, "Деньги лежат под подушкой и теряют ценность?").
- **Эмодзи:** Добавь в текст подходящие эмодзи (🚀, 💰,📈), чтобы сделать его визуально привлекательнее.
- **Призыв к действию:** Сделай его более сильным и срочным. Например: "Места ограничены! Регистрируйся по ссылке в профиле прямо сейчас!".