Разрыв в поведении: Оценка агентов LLM без обучения в сложных диалогах, ориентированных на задачи

Исследование выявляет и измеряет "поведенческий разрыв" (behavior gap) между LLM-агентами и людьми-экспертами при решении сложных задач в диалоге. Авторы показывают, что LLM более многословны, чаще и менее эффективно используют инструменты, а также склонны дословно копировать информацию из контекста, вместо того чтобы синтезировать ее. Этот разрыв увеличивается с ростом сложности задачи и негативно влияет на качество результата.

Явное указание в промпте, как именно действовать (например, какие "диалоговые акты" совершать), заставляя LLM имитировать поведение человека, значительно улучшает качество и точность ответов.

Суть метода заключается в компенсации врожденных "слабостей" больших языковых моделей через промпт. Исследование показывает, что если оставить LLM действовать по своему усмотрению, она будет вести себя как слишком усердный, но неэффективный стажер:

1. Избыточность действий (Dialog Acts): Вместо того чтобы сделать одно точное действие (например, задать уточняющий вопрос), модель пытается сделать несколько сразу (и спросить, и предложить, и проинформировать), что путает диалог.
2. Неэффективное использование инструментов (Tool Use): Модель чаще обращается к инструментам (например, к поиску в базе знаний), но делает это менее точно, чем человек, что приводит к ошибкам и лишним шагам.
3. Копирование вместо синтеза (Knowledge Use): Получив информацию из контекста (например, из статьи в базе знаний или документа, поданного в промпт), модель склонна ее дословно цитировать ("copy-paste"), а не анализировать и сжато излагать суть, как это сделал бы человек-эксперт.

Практическая методика, вытекающая из исследования, — это "принудительное наведение на правильное поведение" (Behavior Injection).

Вместо того чтобы давать LLM общую цель ("Спланируй поездку"), вы должны разбить эту цель на последовательность шагов, имитирующих логику человека-эксперта. Вы буквально заставляете модель следовать сценарию, который не позволяет ей проявлять свои "вредные" привычки. Вы становитесь режиссером, который говорит актеру (LLM), что и в какой последовательности делать.

Это превращает промпт из простого запроса в четкий алгоритм действий, где каждый шаг — это отдельный "диалоговый акт" или логическая операция.

*Прямая применимость:Пользователи могут немедленно использовать этот подход, структурируя свои промпты как пошаговый план. Вместо "Напиши мне маркетинговую стратегию" можно написать: "Действуй по шагам: 1. Задай мне 5 уточняющих вопросов о моем продукте. 2. На основе моих ответов, предложи 3 целевые аудитории. 3. Для каждой аудитории предложи 2 канала продвижения...". Это прямое "внедрение поведения".

• Концептуальная ценность: Главная идея — перестать воспринимать LLM как "черный ящик" и начать видеть в ней систему с предсказуемыми поведенческими паттернами (избыточность, копирование). Это понимание помогает заранее предвидеть потенциальные ошибки модели и предотвращать их на уровне промпта, делая взаимодействие с LLM более контролируемым и надежным.

• Потенциал для адаптации: Метод универсален. Хотя исследование проводилось на чат-ботах, принцип применим везде:

  • Анализ документов: Вместо "Проанализируй этот отчет" можно задать: "Шаг 1: Выдели 5 ключевых тезисов из отчета. Шаг 2: Для каждого тезиса найди подтверждающие данные в тексте. Шаг 3: Сформулируй краткое резюме на 100 слов, синтезируя выводы, а не цитируя".
  • Креативное письмо: Вместо "Напиши рассказ" можно использовать: "Шаг 1: Создай описание главного героя (внешность, характер). Шаг 2: Опиши завязку сюжета. Шаг 3: Напиши первую главу, сфокусировавшись на диалогах".

Представим, что пользователь хочет спланировать отпуск и обращается к ChatGPT.

Ты — опытный турагент-эксперт. Твоя задача — помочь мне спланировать идеальное путешествие в Италию на 10 дней.
**ВАЖНО:** Действуй строго по следующему пошаговому плану. Не переходи к следующему шагу, пока мы не закончим с предыдущим.

**Шаг 1: Уточнение предпочтений.**
Задай мне серию коротких вопросов, чтобы понять мои интересы. Вопросы должны касаться:
- Типа отдыха (пляжный, активный, культурный, гастрономический).
- Бюджета (эконом, средний, премиум).
- Предпочитаемого темпа (расслабленный или насыщенный).
- С кем я путешествую (один, с партнером, с семьей и детьми).
- После получения ответов дождись моего подтверждения, прежде чем переходить к Шагу 2.*

**Шаг 2: Предложение маршрута.**
На основе моих ответов предложи два разных варианта маршрута. Для каждого варианта укажи:
- Список городов для посещения.
- Краткое обоснование, почему этот маршрут мне подходит.
- Примерные дневные активности.

**Шаг 3: Детализация выбранного варианта.**
После того как я выберу один из маршрутов, предоставь по нему более подробную информацию: рекомендации по отелям (3 варианта в среднем ценовом сегменте) и 2-3 "секретных" места (не туристических), которые стоит посетить в ключевых городах маршрута.

Итак, начинай. Задавай вопросы из **Шага 1**.

Этот промпт напрямую реализует метод "behavior injection", описанный в исследовании, за счет следующих механик:

1. Подавление избыточности: Промпт не дает модели свободу действий. Вместо того чтобы сразу вывалить тонну информации (и маршрут, и отели, и развлечения), он заставляет ее действовать последовательно. "Шаг 1: Уточнение предпочтений" — это принудительное выполнение одного конкретного "диалогового акта" (request).
2. Структурирование сложной задачи: Задача "спланировать отпуск" разбита на три логических этапа, имитирующих работу реального турагента. Это не позволяет модели "сбиться" или упустить важные детали.
3. Имитация человеческого поведения: Структура "вопрос -> предложение вариантов -> детализация" — это именно то, как действовал бы человек-эксперт. Это сокращает "поведенческий разрыв" и направляет LLM по эффективному пути.
4. Контроль над генерацией: Инструкции вроде "Не переходи к следующему шагу, пока мы не закончим с предыдущим" и "дождись моего подтверждения" вводят в диалог управляющие элементы, которые предотвращают преждевременную и нерелевантную генерацию.

Задача: пользователь, владелец небольшой кофейни, хочет получить идеи для SMM-продвижения.

Ты — опытный маркетолог, специализирующийся на продвижении малого бизнеса в социальных сетях. Моя задача — разработать контент-план для кофейни "Уютный Уголок".
**Твоя методология:** Ты будешь действовать как консультант, строго по шагам.

**Этап 1: Сбор информации (Диалоговый акт: Request)**
Задай мне 4 ключевых вопроса, чтобы понять специфику моего бизнеса:
1. Кто наша основная целевая аудитория?
2. Какие у нас уникальные "фишки" (особый сорт кофе, выпечка, атмосфера)?
3. Какие цели мы ставим перед соцсетями (продажи, узнаваемость, лояльность)?
4. Какой бюджет мы готовы выделить на продвижение в месяц?

**Этап 2: Генерация идей (Диалоговый акт: Recommend/Inform)**
На основе моих ответов предложи 5 конкретных идей для постов/сторис. Каждая идея должна включать:
- Название рубрики (например, "Бариста рекомендует").
- Краткое описание сути поста.
- Формат (фото, короткое видео, опрос).

**Этап 3: Структурирование плана (Диалоговый акт: Inform/Structure)**
После того как я выберу 3 наиболее понравившиеся идеи, составь на их основе примерный контент-план на одну неделю в виде таблицы с колонками: "День недели", "Тема поста", "Формат", "Призыв к действию".

Начнем с **Этапа 1**. Жду твои вопросы.

Этот пример работает благодаря тем же принципам, что и предыдущий, но адаптированным под другую сферу:

1. Явное именование "диалоговых актов": Промпт прямо указывает, какую роль выполняет каждый этап (Request, Recommend/Inform). Это помогает модели лучше понять ожидаемое от нее поведение, что является прямым применением выводов исследования.
2. Предотвращение "копипаста": Вместо того чтобы модель выдала общий, скопированный из интернета контент-план, промпт заставляет ее сначала собрать уникальную информацию о бизнесе (Этап 1), а затем сгенерировать идеи, основанные именно на этой информации (Этап 2). Это принуждает модель к синтезу, а не к копированию.
3. Фокусировка на результате: Разбиение задачи на этапы (сбор данных -> генерация идей -> структурирование) гарантирует, что конечный продукт (контент-план) будет релевантным и кастомизированным, а не общим и бесполезным. Модель не может "схалтурить" и пропустить важный этап сбора информации, что сокращает "поведенческий разрыв" с человеком-экспертом, который всегда начинает с брифинга клиента.

• A. Релевантность техникам промтинга: Да. Исследование напрямую показывает, что добавление инструкций, имитирующих поведение человека-эксперта (диалоговые акты), в системный промпт улучшает результат.
• B. Улучшение качества диалоговых ответов: Да. Это центральный вывод исследования — сокращение "поведенческого разрыва" ведет к статистически значимому улучшению производительности агента (в среднем на 24.3%).
• C. Прямая практическая применимость: Да. Пользователь может немедленно применить выводы, добавляя в свои промпты явные указания на последовательность действий, без какого-либо кода или донастройки моделей.
• D. Концептуальная ценность: Очень высокая. Исследование дает блестящую "ментальную модель" для понимания LLM: они ведут себя как многословные, суетливые помощники, которые используют слишком много инструментов и бездумно копируют информацию, в отличие от сфокусированных и синтезирующих людей-экспертов.
• E. Новая полезная практика (кластеризация):
  • Кластер 1 (Техники формулирования): Да, "внедрение диалоговых актов" — это продвинутая форма ролевой игры и структурирования инструкций.
  • Кластер 2 (Поведенческие закономерности): Да, выявляет ключевые закономерности: избыточность действий, неэффективное использование инструментов и склонность к копированию вместо синтеза.
  • Кластер 3 (Оптимизация структуры): Да, предлагает способ структурировать сложные запросы через последовательность шагов, имитирующих человеческое поведение.
  • Кластер 7 (Надежность и стабильность): Да, предложенный метод снижает "галлюцинации" в виде неправильного использования инструментов и повышает релевантность ответа.
• Чек-лист практичности (+15 баллов): Да, исследование дает концептуальные конструкции для промптов, показывает как структурировать сложные запросы, раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить точность.

Оценка 95 из 100 обусловлена тем, что исследование предоставляет не просто "еще один трюк", а фундаментальное понимание поведенческих различий между LLM и человеком, подкрепленное практически применимым методом для их устранения. Это одна из самых полезных концепций для продвинутого промпт-инжиниринга.

Аргументы за высокую оценку: 1. Глубокая концептуальная модель: Вывод о том, что LLM по умолчанию "многословны, суетливы и склонны к копированию", а не к синтезу, — это мощнейший инсайт. Он объясняет, почему многие промпты не работают, и дает ключ к их исправлению. 2. Прямое практическое применение: Метод "внедрения поведения" (behavior injection) напрямую транслируется в промпт-инжиниринг через явное указание последовательности действий ("Сначала задай вопрос, потом предложи варианты, затем обоснуй лучший"). 3. Универсальность: Хотя исследование сфокусировано на чат-ботах для конкретных задач (TODS), выявленные поведенческие паттерны и метод их коррекции применимы к любым сложным задачам, от написания отчетов до креативного письма.