Агенты диалогового синтеза программ для интерактивного принятия решений

Исследование показывает, что большие языковые модели (LLM) плохо справляются со сложными диалогами, где нужно последовательно собирать информацию и принимать логические решения (например, определить право на получение льгот). Они часто "галлюцинируют", задают лишние вопросы и путаются в условиях. Авторы предлагают метод ProADA, который решает эту проблему, заставляя LLM сначала написать программу (Python-код), содержащую всю логику проверки, а затем использовать эту программу как "мозг" для ведения диалога.

Ключевой результат: Метод ProADA, разделяющий логическое планирование (код) и ведение диалога (LLM), значительно повышает точность и эффективность принятия решений по сравнению с прямым использованием LLM.

Суть метода ProADA в "разделении труда" между тем, в чем LLM сильны, и тем, в чем они слабы.

1. Слабость LLM: LLM плохо удерживают в "памяти" строгие логические правила и состояние многошагового диалога. Если задача — проверить 10 условий, модель может забыть про пятое, перепутать седьмое и придумать одиннадцатое.

2. Сила LLM: LLM великолепно переводят инструкции с естественного языка на формальный (например, код) и обратно.

Таким образом, сложная задача по удержанию логики и ведению диалога декомпозируется. Жесткая логика выносится во внешний, надежный инструмент (код), а LLM используется только для того, для чего она идеальна — для коротких, точечных преобразований "запрос на данные -> человеческий вопрос".

*Прямая применимость:Нулевая. Обычный пользователь не может заставить ChatGPT или другую LLM в чате генерировать и исполнять код для управления диалогом. Это метод для разработчиков, создающих специализированных LLM-агентов.

• Концептуальная ценность: Огромная. Исследование наглядно доказывает, что для сложных, многоэтапных задач с жесткой логикой нельзя полагаться на внутреннюю "память" и "логику" LLM в рамках одного длинного диалога. Модель нужно использовать как компонент в более крупной системе, где логика и состояние вынесены наружу. Это объясняет, почему промпты вида "Представь, что ты консультант, и помоги мне выбрать страховку, учитывая все мои ответы" часто приводят к путанице и ошибкам.

• Потенциал для адаптации: Пользователь может вручную имитировать этот подход. Вместо того чтобы давать LLM одну гигантскую задачу, он может сам выступить в роли "исполняющей системы":

  1. Сформулировать для себя план (логику).
  2. Использовать LLM как "помощника по одному вопросу", задавая ему простые, изолированные подзадачи ("Составь список критериев для выбора ноутбука для дизайнера").
  3. Самостоятельно сохранять ответы.
  4. Повторять, пока все данные не будут собраны.
  5. Наконец, передать LLM все собранные структурированные данные для финального синтеза ("На основе этих данных, предложи 3 модели ноутбуков").

Этот промпт имитирует логику ProADA вручную. Пользователь выступает в роли "управляющей программы", а LLM — в роли "диалогового модуля".

# РОЛЬ

Ты — опытный турагент-консультант.

# ЗАДАЧА

Твоя задача — помочь мне спланировать идеальный отпуск. Мы будем делать это пошагово. Твоя главная обязанность — задавать правильные вопросы, чтобы собрать всю необходимую информацию.

# ИНСТРУКЦИИ ПО ВЕДЕНИЮ ДИАЛОГА

1. **Один вопрос за раз:** Никогда не задавай больше одного вопроса в одном сообщении.
2. **Последовательность:** Я дам тебе список тем для обсуждения. Задавай вопросы строго по этому списку, пока мы не пройдем по всем пунктам.
3. **Краткость:** Формулируй вопросы четко и кратко.
4. **Ожидание:** После каждого твоего вопроса я буду давать ответ. Дождись моего ответа, прежде чем задавать следующий вопрос.

# ПЛАН ДИАЛОГА (КРИТЕРИИ ДЛЯ СБОРА ИНФОРМАЦИИ)

1. Даты поездки.
2. Бюджет на человека.
3. Количество путешественников (взрослые и дети).
4. Предпочтения по типу отдыха (пляжный, активный, экскурсионный, гастрономический).
5. Предпочтения по климату (жаркий, умеренный, прохладный).
6. Требования к визе (нужна ли страна без визы).

# НАЧАЛО РАБОТЫ

Когда ты будешь готов, задай мне первый вопрос из плана.

Этот промпт работает, потому что он вручную реализует ключевые принципы ProADA:

• Декомпозиция: Сложная задача "спланировать отпуск" разбита на серию простых шагов по сбору данных.
• Внешняя логика: "План диалога" выступает в роли сгенерированного кода. Он задает жесткую и предсказуемую последовательность действий, не позволяя LLM отклониться от курса или начать "галлюцинировать" и придумывать свои критерии.
• Управление состоянием: Пользователь, а не LLM, отслеживает, на каком этапе диалога они находятся. Это снимает с LLM нагрузку по удержанию контекста всей беседы.
• Изолированные LLM-вызовы: Каждый вопрос LLM — это короткая, изолированная задача ("сформулируй вопрос про даты"). Это то, с чем модели справляются лучше всего, минимизируя риск ошибок и путаницы.

Этот пример, как и предыдущий, переносит методологию ProADA в ручной режим, что делает его эффективным.

• Вынос логики в промпт: "План сбора информации" — это аналог сгенерированной Python-программы из исследования. Он служит жестким сценарием, который диктует ход диалога. Это предотвращает "творческие" отклонения LLM, которые могли бы увести разговор в сторону.
• Снижение когнитивной нагрузки на LLM: Вместо того чтобы пытаться одновременно быть и интервьюером, и редактором, и стратегом, LLM получает очень узкие задачи: "спроси про успех", "спроси про навыки". Это минимизирует вероятность ошибок, связанных с удержанием сложного контекста.
• Четкое разделение фаз: В промпте явно разделены фаза сбора информации (вопросы по плану) и фаза синтеза (команда "СИНТЕЗ"). Это имитирует цикл "сбор данных -> запуск программы" из ProADA. Модель не пытается генерировать финальный ответ преждевременно, на основе неполных данных, что является частой проблемой в обычных диалогах.
• Предсказуемость и надежность: Пользователь получает полный контроль над процессом. Результат становится гораздо более предсказуемым и надежным, поскольку логика диалога задана человеком, а LLM используется как исполнитель простых, четко определенных задач.

• Предварительный фильтр: Исследование полностью сфокусировано на текстовых промптах и диалоговых агентах. Проходит фильтр.
• A. Релевантность техникам промптинга: Низкая. Не предлагает конкретных фраз, а описывает сложную архитектуру взаимодействия, где LLM используется для генерации кода.
• B. Улучшение качества диалоговых ответов: Высокое. Метод ProADA значительно повышает точность (F1-score) и сокращает количество диалоговых ходов по сравнению с базовыми подходами (ReAct, direct prompting).
• C. Прямая практическая применимость: Очень низкая. Пользователь в обычном чате (ChatGPT, Claude) не может реализовать этот подход, так как он требует генерации и исполнения Python-кода в качестве промежуточного шага. Это архитектура для разработчиков LLM-агентов.
• D. Концептуальная ценность: Очень высокая. Исследование блестяще иллюстрирует фундаментальную слабость LLM в задачах, требующих строгой логики и сохранения состояния (памяти) в диалоге. Оно дает пользователю глубокое понимание, почему сложные многошаговые инструкции в чате часто проваливаются.
• E. Новая полезная практика (Кластеры):
  • Кластер 2 (Поведенческие закономерности LLM): Ярко демонстрирует проблемы "галлюцинаций", "потери в середине" и неспособности к строгому логическому планированию.
  • Кластер 6 (Контекст и память): Предлагает продвинутую, хоть и непрямую, стратегию управления состоянием диалога через внешний инструмент (сгенерированный код).
  • Кластер 7 (Надежность и стабильность): Основная цель метода — повысить надежность и снизить количество ошибок в задачах принятия решений.
• Чек-лист практичности (+15 баллов): Да, работа раскрывает, как структурировать сложные запросы (концептуально), вскрывает неочевидные особенности поведения LLM и предлагает способ улучшить точность.

Оценка 75 обусловлена огромной концептуальной ценностью для понимания ограничений LLM, несмотря на практически нулевую прямую применимость для обычного пользователя.

• Аргументы в пользу оценки: Исследование дает пользователю бесценный инсайт: LLM — это гениальный "переводчик" с человеческого на структурированный язык, но плохой "логический процессор". Понимание этого принципа "разделения труда" (логика отдельно, общение отдельно) позволяет пользователю лучше формулировать сложные задачи, даже если он делает это вручную, разбивая их на этапы. Это фундаментальное знание, которое улучшает промптинг в целом.

• Контраргументы (почему оценка могла быть ниже): Если оценивать исключительно по критерию "могу ли я это сделать прямо сейчас в своем чат-боте", оценка была бы в районе 30-40. Метод ProADA — это архитектурное решение, а не техника промптинга. Пользователь не может "взять и применить" его, что делает его бесполезным в качестве прямого инструмента.

• Контраргументы (почему оценка могла быть выше): Концептуальный прорыв, который демонстрирует исследование, настолько важен, что его можно считать обязательным для понимания любым продвинутым пользователем LLM. Оно объясняет первопричину провала многих сложных промптов. Это знание может сэкономить пользователю часы бесплодных попыток и направить его на более продуктивные стратегии взаимодействия с LLM, что оправдывает оценку в диапазоне 80-85.