Влияние представления состояния на поведение агентов LLM в динамических играх маршрутизации

Исследователи анализировали, как способ подачи информации о прошлых действиях (контекста) влияет на поведение LLM-агентов в повторяющейся игре. Они обнаружили, что LLM действуют намного стабильнее и рациональнее, когда получают не полную историю диалога, а её краткое структурированное саммари. Также выяснилось, что информация о том,насколько лучше мог бы быть результат("сожаление"), направляет модель эффективнее, чем просто констатация факта о полученном результате ("выигрыш").

Ключевой результат: Для повышения качества и стабильности ответов LLM в многошаговых задачах, подавайте контекст в виде краткого саммари и давайте обратную связь, указывая на упущенные возможности.

Суть метода, который можно извлечь из этого исследования, заключается в осознанном управлении контекстом и обратной связью при взаимодействии с LLM. Вместо того чтобы пассивно продолжать диалог, пользователь должен взять на себя роль "менеджера контекста".

Методика для пользователя сводится к трем основным принципам:

1. Сжатие контекста (Summarized Prompting): Не полагайтесь на то, что LLM "помнит" весь ваш длинный диалог. Модели страдают "миопией" — они уделяют непропорционально много внимания последним сообщениям, игнорируя важные детали из начала переписки.

   • Практика: Перед каждым новым сложным шагом в задаче, предоставьте модели краткую сводку (саммари) предыдущих шагов: что было решено, какие ключевые данные получены, какие ограничения установлены. Это может быть простой список или таблица. Это "перезагружает" фокус модели на самом важном.

2. Направляющая обратная связь (Regret-based Feedback): Когда модель делает что-то не так, не просто говорите "это не то". Дайте ей "сигнал сожаления" — информацию о том, какой выбор был бы лучше и почему.

   • Практика: Вместо "Твой ответ плохой", используйте конструкцию: "Ты предложил(а) вариант А, что привело к результату Б. Однако, если бы ты выбрал(а) вариант В, результат был бы Г, что гораздо лучше, потому что...". Это дает модели четкий вектор для исправления.

3. Минимизация шума (Own Actions Information): Иногда предоставление слишком большого количества информации о внешних факторах (например, действиях других людей/агентов) может запутать модель и заставить её строить неверные предположения.

   • Практика: Сосредоточьте контекст на ключевых результатах и ваших собственных решениях, а не на всех возможных переменных. Подавайте только ту информацию, которая напрямую нужна для следующего шага.

*Прямая применимость:Чрезвычайно высокая. Любой пользователь может немедленно начать применять эти принципы. Вместо того чтобы писать "помнишь, мы говорили о...", можно вставить в промпт блок<Краткая сводка предыдущих шагов>. При корректировке ответа можно использовать формулу "Твой вариант [X] неплох, но вариант [Y] был бы лучше, потому что...".

• Концептуальная ценность: Огромная. Исследование помогает сформировать правильную "ментальную модель" LLM. Она перестает быть "магическим собеседником" и становится мощным, но забывчивым инструментом с ограниченным фокусом внимания. Пользователь понимает, что его задача — не просто задавать вопросы, а быть "штурманом", который постоянно предоставляет модели чистую, структурированную и актуальную карту (контекст).

• Потенциал для адаптации: Максимальный. Механизм адаптации прост: любую сложную задачу (написание диплома, планирование отпуска, создание бизнес-плана) нужно мысленно разбить на этапы. Перед каждым новым этапом нужно составить саммари предыдущих, а в конце этапа — дать корректирующую обратную связь по принципу "сожаления". Это превращает хаотичную переписку в управляемый итеративный процесс.

Представим, что вы с помощью LLM разрабатываете контент-план для блога о здоровом питании. Вы уже прошли несколько итераций.

Ты — опытный маркетолог и контент-стратег. Наша цель — создать контент-план на 1 месяц для блога о здоровом питании.
**# Краткая сводка предыдущих шагов (Принцип "Саммари")**

1. **Целевая аудитория:** Женщины 25-40 лет, работающие в офисе, интересуются ЗОЖ, но не имеют много времени на готовку.
2. **Основные рубрики:** "Быстрые рецепты", "Мифы о диетах", "ЗОЖ в офисе".
3. **Форматы контента:** Короткие статьи (до 3000 зн.), инфографика, видео-рецепты (до 1 минуты).
4. **Частота публикаций:** 3 поста в неделю.

**# Обратная связь по прошлому предложению (Принцип "Сожаления")**

В прошлый раз ты предложил(а) тему "История вегетарианства". Это интересная тема (результат), но она слишком академична для нашей ЦА и не решает их насущную проблему нехватки времени (упущенная возможность).

**# Новая задача**

Основываясь на сводке и обратной связи, предложи 3 конкретные темы для постов в рубрике "Быстрые рецепты". Темы должны быть максимально практичными и ориентированными на экономию времени. Для каждой темы укажи основной тезис и формат контента.

Этот промпт эффективен благодаря двум ключевым механикам из исследования:

1. Саммари (<Краткая сводка...>): Вместо того чтобы заставлять LLM "вспоминать" предыдущие 10 сообщений о целевой аудитории и рубриках, мы предоставляем всю ключевую информацию в сжатом и структурированном виде. Это мгновенно фокусирует модель на нужных ограничениях и предотвращает "миопию" (игнорирование старой информации).

2. Сожаление (<Обратная связь...>): Мы не просто говорим "тема про вегетарианство не подходит". Мы объясняем, почему она не подходит для нашей ЦА (слишком академична) и какой критерий был упущен (экономия времени). Это дает модели четкий сигнал, что "практичность" и "экономия времени" являются более ценными атрибутами, чем "историческая глубина". Модель учится на этой ошибке и корректирует свое поведение для следующей генерации.

Задача: спланировать семейное путешествие в Италию.

Ты — эксперт по путешествиям, специализирующийся на семейном отдыхе в Италии.
**# Краткая сводка нашего плана (Принцип "Саммари")**

- **Даты:** 1-14 июля.
- **Состав:** 2 взрослых, 2 ребенка (7 и 12 лет).
- **Бюджет:** 4000 евро (без перелета).
- **Утвержденный маршрут:** 5 дней в Риме, 5 дней на побережье Амальфи.
- **Приоритеты:** Совместить пляжный отдых с познавательными, но не утомительными экскурсиями для детей.

**# Обратная связь по отелям (Принцип "Сожаления")**

Ты предложил отель на Амальфи с прекрасным видом, но он расположен на высоком утесе и требует долгого спуска к пляжу. Для семьи с детьми это будет неудобно (результат). Нам нужен отель с легким доступом к пляжу (не более 5 минут пешком), даже если вид из него будет не таким панорамным (упущенная возможность/лучший вариант).

**# Новая задача**

Пожалуйста, подбери 3 альтернативных отеля на побережье Амальфи, которые соответствуют нашему бюджету и новому требованию о пешей доступности пляжа. Для каждого отеля укажи примерную стоимость и главные плюсы для семьи с детьми.

Механизм здесь тот же, и он основан на ключевых выводах исследования:

1. Структурированный контекст: Блок <Краткая сводка нашего плана> действует как якорь. Он избавляет модель от необходимости анализировать всю историю переписки и немедленно задает рамки: даты, бюджет, состав группы и приоритеты. Это резко снижает вероятность того, что модель предложит что-то неподходящее (например, отель только для взрослых или за пределами бюджета).

Блок<Обратная связь по отелям>— это идеальный пример "сожаления". Мы не просто отвергаем предыдущий вариант. Мы четко формулируем компромисс: "удобство доступа к пляжу" важнее, чем "панорамный вид". Это дает модели очень конкретный критерий для нового поиска. Она понимает, что нужно оптимизировать не "красоту вида", а "логистику для семьи", и следующая итерация будет гораздо точнее.

• A. Релевантность техникам промптинга: Да. Исследование напрямую сравнивает эффективность разных структур промпта (полная история vs. саммари, информация о результате vs. информация о "сожалении").
• B. Улучшение качества диалоговых ответов: Да. Показывает, как добиться более стабильного и предсказуемого поведения LLM, что напрямую влияет на качество в многошаговых задачах.
• C. Прямая практическая применимость: Да. Выводы можно применять немедленно в любом чат-интерфейсе без кода и специальных инструментов.
• D. Концептуальная ценность: Очень высокая. Объясняет, почему LLM "теряется" в длинном контексте (миопия) и почему конкретная обратная связь (сожаление) работает лучше общей (результат).
• E. Новая полезная практика (кластеризация):
  • Кластер 3 (Оптимизация структуры): Ключевое открытие — саммари лучше полной истории.
  • Кластер 6 (Контекст и память): Дает практическую стратегию управления длинным контекстом.
  • Кластер 7 (Надежность и стабильность): Показывает, как повысить стабильность поведения модели.
  • Кластер 2 (Поведенческие закономерности): Раскрывает "миопию" LLM в длинных диалогах — склонность учитывать только последнюю информацию.
• Чек-лист практичности (+15 баллов): Да, исследование дает конкретные рекомендации по структурированию сложных запросов, раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить стабильность ответов.

Исследование получает 94 балла за то, что предоставляет фундаментальные и сразу применимые принципы управления контекстом и обратной связью для LLM. Это не просто "один трюк", а целая стратегия взаимодействия.

Аргументы за высокую оценку: 1. Принцип "Саммари > Полная история" — это золотое правило для любого пользователя, работающего со сложными, многошаговыми задачами. Оно напрямую решает проблему "потери контекста" и "забывчивости" LLM. 2. Принцип "Сожаление > Результат" — это мощный инсайт в "психологию" LLM. Он учит пользователя давать модели не просто оценку, а четкий сигнал к улучшению, что кардинально повышает управляемость генерации. 3. Универсальность. Хотя исследование проведено в рамках теории игр, его выводы абсолютно универсальны и применимы к любой задаче: от написания книги и планирования путешествия до разработки маркетинговой стратегии.