TRPrompt: бутстрэппинг оптимизации запросно-ориентированных промптов на основе текстовых вознаграждений

Исследование представляет фреймворк TRPrompt, который автоматически оптимизирует промпты для сложных задач. Вместо того чтобы человек правил промпты вручную, система использует одну языковую модель для написания детальной текстовой критики («текстовой награды») на эффективность промпта, а затем на основе этой критики дообучает другую модель для генерации все более качественных инструкций. Этот итеративный процесс самосовершенствования позволяет создавать промпты, которые значительно повышают точность ответов LLM.

Ключевой результат: Использование развернутой текстовой критики в качестве обучающего сигнала эффективнее, чем простые числовые оценки, и позволяет автоматически создавать промпты, превосходящие стандартные подходы на сложных задачах.

Представьте, что вы хотите научить стажера писать идеальные рабочие инструкции. Вместо того чтобы просто говорить ему «хорошо» или «плохо», вы пишете подробный отзыв на каждую его инструкцию: «Здесь ты молодец, потому что разбил задачу на шаги, но вот тут не хватает конкретики по срокам, а этот пункт вообще сбивает с толку». Стажер, читая такие отзывы, учится гораздо быстрее.

Метод TRPrompt делает то же самое, но с языковыми моделями. 1. Есть "Модель-Генератор Промптов", которая, как стажер, пытается написать хорошую инструкцию (промпт) для решения конкретной задачи (например, математической). 2. Есть "Модель-Исполнитель", которая пытается решить задачу, используя этот промпт. 3. И есть "Модель-Критик". Она смотрит на результат "Исполнителя", сравнивает его с правильным ответом и пишет развернутый текстовый отзыв ("текстовую награду") на промпт "Генератора". Например: "Твой промпт правильно указал на необходимость разбить задачу на этапы, но не сделал акцент на проверке единиц измерения, из-за чего Исполнитель ошибся".

Далее "Модель-Генератор Промптов" дообучается на этих текстовых отзывах, чтобы в следующий раз писать промпты, которые заслужили бы похвалу от "Критика". Этот цикл повторяется, и промпты становятся все лучше и лучше без участия человека.

Для обычного пользователя главная идея — ценность развернутой критики. Вместо того чтобы просто пробовать разные промпты, можно использовать саму LLM для анализа и улучшения ваших же инструкций.

• Прямая применимость: Нулевая. Пользователь не имеет доступа к дообучению моделей, не может настроить LoRA или запустить сложный пайплайн из нескольких LLM. Метод полностью находится в области ML-инженерии.

• Концептуальная ценность: Очень высокая. Исследование доказывает, что LLM отлично справляются с ролью "критика" и "оптимизатора" инструкций. Это дает пользователю ключевую идею: можно вести с чат-ботом "мета-диалог" — диалог не о решении задачи, а об улучшении способа ее постановки (т.е. о самом промпте).

• Потенциал для адаптации: Огромный. Пользователь может вручную имитировать этот процесс, превратив его в мощную технику промпт-инжиниринга.

  Механизм адаптации:

  1. Шаг 1: Первая попытка. Сформулируйте промпт для решения вашей задачи и получите ответ от LLM.
  2. Шаг 2: Запрос на критику. Если ответ вас не устроил, создайте новый запрос, в котором попросите LLM выступить в роли эксперта по промпт-инжинирингу.
  3. Шаг 3: Предоставление контекста. В этом новом запросе предоставьте LLM:
     • Ваш первоначальный промпт.
     • Полученный неудовлетворительный ответ.
     • Описание того, что именно вас не устроило.
  4. Шаг 4: Задача на оптимизацию. Попросите LLM проанализировать ваш промпт и предложить улучшенную, более эффективную версию, которая поможет избежать полученных недостатков.

Представим, что маркетолог хочет получить идеи для постов в соцсети о новом продукте — умной бутылке для воды.

Ты — опытный эксперт по промпт-инжинирингу и SMM-стратег. Я пытаюсь получить от LLM креативные идеи для постов, но результат меня не устраивает.

### Мой первоначальный промпт:
"Придумай 5 идей для постов в соцсети про нашу новую умную бутылку для воды 'AquaFuture'."

### Ответ, который я получил:
1. Пост о дизайне бутылки.
2. Пост о материалах.
3. Пост о том, как она отслеживает выпитую воду.
4. Пост с призывом купить.
5. Пост о скидке.

### Моя проблема:
Идеи слишком скучные, "в лоб" и не цепляют аудиторию. Они не рассказывают историю и не создают эмоциональной связи.

### Твоя задача:
1.  **Проанализируй** мой первоначальный промпт. Объясни, почему он привел к такому общему и некреативному результату.
2.  **Напиши новую, улучшенную версию промпта**, которая поможет сгенерировать гораздо более вовлекающие и оригинальные идеи для постов. Включи в новый промпт такие элементы, как целевая аудитория, уникальные углы подачи и желаемый тон коммуникации.

Этот промпт работает, потому что он вручную воспроизводит логику TRPrompt, заставляя LLM работать на "мета-уровне":

1. Роль "Критика": Мы явно просим LLM (Ты — опытный эксперт...) проанализировать и найти недостатки в нашей инструкции (Проанализируй мой первоначальный промпт).
2. "Текстовая награда" (в виде проблемы): Мы даем конкретную обратную связь (Идеи слишком скучные... не рассказывают историю...). Это аналог "текстовой награды" из исследования, который указывает, что именно пошло не так.
3. Задача на оптимизацию: Вместо того чтобы просто просить новые идеи, мы просим создать улучшенный инструмент (Напиши новую, улучшенную версию промпта). Это заставляет модель думать не о конечном результате (постах), а о качестве самой инструкции.
4. Контекстное обучение: Предоставляя "плохой" промпт и "плохой" результат, мы даем модели четкие примеры того, чего следует избегать.

Сфера: HR, составление описания вакансии.

Ты — эксперт по HR и промпт-инжинирингу. Мне нужно составить описание вакансии, но первая версия получилась слишком сухой и формальной.

### Мой исходный промпт:
"Напиши описание вакансии 'Менеджер по работе с клиентами' для IT-компании 'Innovatech Solutions'. Обязанности: работа с текущей базой, поиск новых клиентов, ведение CRM. Требования: опыт от 2 лет, коммуникабельность, знание английского."

### Полученный результат:
(Текст вакансии, состоящий из сухих списков обязанностей и требований, безликий и не привлекающий внимания).

### Моя проблема:
Вакансия получилась шаблонной. Она не отражает культуру нашей компании, не продает позицию кандидату и не отсеивает неподходящих людей на начальном этапе.

### Твоя задача:
1.  **Проанализируй** мой исходный промпт. Укажи на его слабые места, которые привели к созданию шаблонного текста.
2.  **Создай новый, значительно улучшенный промпт.** Этот промпт должен быть спроектирован так, чтобы на его основе LLM сгенерировала "живое", привлекательное и убедительное описание вакансии. Включи в него инструкции по описанию корпоративной культуры, портрета идеального кандидата и уникальных преимуществ работы в нашей компании.

Этот пример работает по тому же принципу "ручного TRPrompt", что и предыдущий:

1. Переключение роли: LLM перестает быть просто исполнителем ("напиши вакансию") и становится консультантом-оптимизатором ("проанализируй и улучши мой способ запроса").
2. Конкретная критика: Мы не просто говорим "мне не нравится", а даем качественную оценку: "сухая", "шаблонная", "не отражает культуру", "не продает позицию". Это направляет "мыслительный процесс" LLM в нужное русло.
3. Фокус на процессе, а не на результате: Ключевая просьба — Создай новый, значительно улучшенный промпт. Мы просим LLM научить нас, как правильно спрашивать. Это заставляет модель задействовать свои знания о структуре эффективных инструкций, а не просто генерировать текст по шаблону.
4. Обогащение контекста: В задаче на создание нового промпта мы уже подсказываем, какие элементы важны (культура, портрет кандидата, преимущества), тем самым направляя LLM на создание более сложного и детализированного запроса.