Автоматическая оптимизация промптов для построения графов знаний: выводы эмпирического исследования

Исследователи изучали, как можно автоматически улучшать промпты для сложной задачи извлечения структурированных данных (триплетов "субъект-отношение-объект") из текста. Они использовали специальные программные фреймворки (DSPy, APE, TextGrad), которые сами генерируют и тестируют десятки вариантов промптов, чтобы найти самый эффективный.

Ключевой результат: Автоматически оптимизированные промпты значительно превосходят базовые, написанные человеком, особенно когда текст становится длиннее, а задача — сложнее (например, нужно найти связи из большого списка возможных).

Суть метода "Автоматической оптимизации промптов" (APO) заключается в том, чтобы делегировать рутинную работу по подбору идеальных формулировок самой языковой модели. Вместо того чтобы человек часами сидел и переписывал промпт, он задает системе цель, дает несколько примеров правильных ответов и запускает программу-оптимизатор.

Эта программа (например, DSPy) делает следующее: 1. Генерирует гипотезы: Просит мощную LLM (например, GPT-4) придумать несколько вариантов инструкций для решения задачи. 2. Проводит эксперименты: Берет каждую сгенерированную инструкцию, добавляет к ней примеры (few-shot) и "прогоняет" через валидационный набор данных. 3. Оценивает результат: Считает метрику качества (например, точность или F1-меру) для каждого варианта промпта. 4. Выбирает лучшего: Находит промпт, который показал наилучший результат, и предлагает его как финальный.

Для обычного пользователя это означает, что существуют "объективно" лучшие способы формулировать запросы, и эти способы можно найти путем экспериментов. Хотя у нас нет таких программ, мы можем перенять принципы, которые они открывают. Например, исследование показало, что стратегия Extract-Critique-Refine (ECR), где модель сначала извлекает данные, потом сама себя критикует, а затем исправляет, работает очень хорошо. Мы можем имитировать это в диалоге с чат-ботом.

• Прямая применимость: Низкая. Пользователь не может запустить DSPy или TextGrad в обычном чате. Однако он может скопировать структуру и формулировки из примеров "хороших" промптов, сгенерированных этими системами (см. раздел 6 в статье).

• Концептуальная ценность: Очень высокая. Исследование дает пользователю понимание нескольких ключевых "законов физики" LLM:

  1. Эффект "размытия" контекста: Чем длиннее текст и чем больше в промпте правил/условий ("сложность схемы"), тем хуже модель справляется с задачей. Вывод: для сложных задач дробите текст или делайте промпт максимально четким.
  2. Управляемая точность: Промптом можно указать модели, что для вас важнее — найти как можно больше всего (recall), рискуя ошибиться, или найти только то, в чем она уверена (precision).
  3. Хрупкость промптов: Промпт, идеально работающий для одного типа данных (например, новостей), может плохо работать для другого (например, научных статей).

• Потенциал для адаптации: Высокий. Пользователь может вручную симулировать продвинутые техники. Например, можно реализовать пайплайн ECR (Extract-Critique-Refine) в три шага в одном диалоге:

  1. Шаг 1 (Extract): "Извлеки из этого текста все упоминания компаний и их продуктов".
  2. Шаг 2 (Critique): "Отлично. Теперь просмотри свой ответ и найди возможные ошибки или пропуски. Был ли ты достаточно точен?"
  3. Шаг 3 (Refine): "Основываясь на своей критике, предоставь финальный, исправленный список".

Представим, что вы маркетолог и хотите проанализировать отзывы клиентов на новый смартфон, чтобы составить отчет.

# РОЛЬ
Ты — опытный аналитик рынка, специализирующийся на анализе потребительских отзывов. Твоя задача — беспристрастно и точно извлечь структурированную информацию из текста отзыва.

# КОНТЕКСТ
Ниже предоставлен отзыв клиента о новом смартфоне "AuraPhone X". Мне нужно подготовить сводку для команды разработчиков.

# ЦЕЛЬ
Извлеки из текста отзыва все упоминания конкретных характеристик смартфона, а также позитивную или негативную оценку этих характеристик.

# ПРАВИЛА
1.  Извлекай только те характеристики, которые явно упомянуты в тексте. Не додумывай.
2.  **Приоритет — точность.** Лучше пропустить характеристику, если ее оценка неоднозначна, чем добавить неверную информацию.
3.  Оценка может быть "Позитивная", "Негативная" или "Нейтральная".

# ФОРМАТ ВЫВОДА
Предоставь результат в виде таблицы Markdown со следующими колонками:
| Характеристика | Оценка | Цитата из отзыва |
|---|---|---|

# ТЕКСТ ДЛЯ АНАЛИЗА

"Купил AuraPhone X на прошлой неделе. В целом, доволен. Камера просто невероятная, особенно ночной режим — фотки получаются четкие и без шумов. А вот батарея разочаровала. Обещали два дня работы, а у меня к вечеру первого дня уже 30% остается, хотя я не играю в игры. Экран яркий, цвета сочные, смотреть видео одно удовольствие. Производительность хорошая, приложения летают. Но вот разблокировка по лицу иногда тупит, особенно при плохом освещении."

Этот промпт использует выводы из исследования для повышения качества результата:

1. Структурирование задачи: Промпт четко разделен на блоки (РОЛЬ, ЦЕЛЬ, ПРАВИЛА, ФОРМАТ), что снижает двусмысленность, как и в оптимизированных промптах из статьи.
2. Определение "схемы": Вместо "триплетов" мы определяем свою структуру (Характеристика, Оценка, Цитата), что сужает пространство поиска для LLM и делает задачу более конкретной.
3. Управление точностью: Фраза "Приоритет — точность" напрямую реализует вывод из исследования (RQ7) о том, что можно влиять на баланс точности и полноты. Это заставляет модель быть более консервативной и избегать галлюцинаций.
4. Четкие инструкции: Правило "Не додумывай" и требование предоставить "Цитату" работают как механизм самопроверки, заставляя модель основывать свои выводы строго на тексте.

Задача: извлечь из протокола рабочего совещания конкретные задачи и поручения.

# РОЛЬ
Ты — ассистент руководителя проекта. Твоя задача — внимательно проанализировать стенограмму совещания и сформировать список конкретных поручений.

# ЦЕЛЬ
Извлеки из текста ниже все поставленные задачи, которые требуют выполнения.

# ПРАВИЛА
1.  Каждая задача должна содержать три элемента: ответственного, суть задачи и срок выполнения.
2.  Если какой-то из элементов (например, срок) не указан явно, отметь это как "не указан".
3.  Не включай в список общие обсуждения, только конкретные поручения.

# ФОРМАТ ВЫВОДА
Представь результат в виде списка (bullet points). Каждый пункт должен иметь следующую структуру:
*   **Задача:** [Краткое описание задачи]
*   **Ответственный:** [Имя сотрудника]
*   **Срок:** [Дата или период]

# ТЕКСТ ДЛЯ АНАЛИЗА

"...коллеги, давайте подведем итоги. По новому лендингу: Мария, нужно, чтобы вы подготовили финальные тексты. Давайте к среде. Иван, с тебя дизайн-макеты, постарайся успеть до конца недели. Также нужно проанализировать конкурентов, кто этим займется? Давайте поручим это Анне. Анна, посмотрите, что делают 'Конкурент А' и 'Конкурент Б', отчет жду в следующий понедельник. С рекламой пока неясно, нужно больше данных..."

Этот промпт эффективен, потому что он применяет те же принципы, что и в исследовании, к другой задаче:

1. Аналог "Closed Relation Extraction": В исследовании модель искала триплеты из заранее заданного списка отношений. Здесь мы делаем то же самое: мы говорим модели искать не просто "что-то важное", а конкретную структуру: Задача, Ответственный, Срок. Это резко сужает область поиска и повышает релевантность вывода.
2. Снижение когнитивной нагрузки: Вместо того чтобы просить модель "сделать саммари митинга", мы даем ей очень узкую и формализованную задачу. Это снижает вероятность того, что модель "забудет" часть инструкций или начнет импровизировать, что особенно важно для длинных текстов (как показало исследование в RQ4).
3. Жесткий формат вывода: Требование вывода в виде списка с жирными тегами заставляет модель не только извлечь информацию, но и правильно ее классифицировать, что повышает точность и удобство использования результата.