Могут ли языковые модели следовать нескольким этапам запутанных инструкций?

Исследование систематически изучает, как LLM справляются с длинными диалогами, в которых инструкции накапливаются, изменяются или противоречат друг другу. Авторы показывают, что даже продвинутые модели, отлично запоминая предыдущие инструкции, часто не могут им следовать, особенно когда дело касается соблюдения приватности, приоритетов или меняющихся условий.

Ключевой результат: Производительность LLM заметно снижается с увеличением длины диалога, потому что механизм внимания модели чрезмерно фокусируется на самой последней инструкции, игнорируя ранее установленные, но все еще актуальные правила.

Суть исследования заключается в демонстрации парадокса: LLM обладают отличной "фактической памятью", но плохой "оперативной памятью для соблюдения правил". Модель может дословно воспроизвести инструкцию, данную в начале диалога (например, "никогда не упоминай мой email"), но в последующих шагах все равно нарушит ее, потому что ее внимание будет захвачено новой, более свежей задачей (например, "напиши текст письма моему начальнику").

Это происходит потому, что для LLM не все части контекста одинаково важны. Последние инструкции в диалоге получают непропорционально много "веса" во внутреннем механизме внимания. Модель как бы рассуждает: "Последняя задача — самая важная, я сосредоточусь на ней, даже если это противоречит тому, что было сказано ранее".

Практический метод, вытекающий из этого, можно сформулировать так: "Не доверяй памяти модели, активно управляй ее вниманием".

Вместо того чтобы давать важное ограничение один раз в начале, его нужно периодически "освежать", повторяя в составе новых промптов. Это заставляет модель заново обращать внимание на критически важные условия каждый раз, когда вы даете ей новую подзадачу. Вы как бы постоянно напоминаете рассеянному, но гениальному помощнику о самых главных правилах перед тем, как дать ему новое поручение.

*Прямая применимость:Пользователь может немедленно улучшить свои результаты в длинных диалогах. Вместо того чтобы писать "Отлично, а теперь сделай то же самое для X", стоит писать: "Отлично.Напоминаю, что мы придерживаемся [правило 1] и [правило 2]. Теперь сделай то же самое для X". Это напрямую борется с эффектом "забывания", описанным в работе.

• Концептуальная ценность: Исследование помогает отказаться от неверной антропоморфной модели LLM как "собеседника, который все помнит". Вместо этого формируется более точная ментальная модель: LLM — это мощный обработчик текста, сильно подверженный "синдрому последнего слова". Это понимание помогает предсказывать, где модель скорее всего ошибется, и заранее "подстелить соломку" в промпте.

• Потенциал для адаптации: Метод легко адаптируется путем создания собственных шаблонов для многошаговых задач. Например, можно выработать привычку перед каждым новым сложным запросом в рамках одной сессии вставлять небольшой блок с заголовком ## ОСНОВНЫЕ ПРАВИЛА, где кратко перечислены все ключевые ограничения (целевая аудитория, бюджет, запретные темы, формат вывода). Это превращает абстрактное знание из статьи в личный рабочий инструмент.

Представим, что вы SMM-менеджер и планируете с помощью LLM серию постов для блога о здоровом питании.

Привет! Я хочу разработать контент-план и несколько постов для блога о здоровом питании.
### ГЛАВНЫЕ ПРАВИЛА ПРОЕКТА

1. **Целевая аудитория:** Новички, которые только начинают интересоваться ЗОЖ. Никаких сложных терминов и заумных биохимических процессов.
2. **Тон:** Дружелюбный, поддерживающий, не осуждающий. Мы не ругаем за срывы, а мягко направляем.
3. **Ключевой запрет:** Не давать прямых медицинских советов и не упоминать конкретные диагнозы. Всегда делать оговорку "проконсультируйтесь с врачом".

### ЗАДАЧА 1

Набросай 5 идей для постов в блог, учитывая эти правила.

...модель генерирует 5 идей...

Плохой следующий промпт (игнорирует выводы исследования): Отлично, давай напишем пост по второй теме.

ХОРОШИЙ СЛЕДУЮЩИЙ ПРОМПТ (использует выводы исследования):

Отличные идеи! Теперь давай напишем полноценный пост по второй теме: "5 простых способов пить больше воды в течение дня".
### НАПОМИНАНИЕ О ПРАВИЛАХ

- **Для кого пишем:** Для абсолютных новичков. Максимально просто и понятно.
- **Какой тон:** Дружелюбный и ободряющий.
- **Главное ограничение:** Не забывай в конце добавить фразу о консультации со специалистом, так как гидратация может быть связана со здоровьем.

### ЗАДАЧА 2

Напиши текст поста примерно на 400 слов. Структурируй его: введение, 5 советов с короткими пояснениями, заключение с призывом к действию и оговоркой.

Этот промпт эффективен, потому что он напрямую противодействует слабости LLM, выявленной в исследовании.

1. Борьба с затуханием внимания: Вместо того чтобы полагаться на то, что модель "помнит" первоначальные инструкции, мы активно "освежаем" их с помощью блока ### НАПОМИНАНИЕ О ПРАВИЛАХ.
2. Приоритизация контекста: Этот блок заставляет механизм внимания модели заново обработать ключевые ограничения (аудитория, тон, запреты) непосредственно перед выполнением новой задачи (ЗАДАЧА 2). Это снижает риск того, что модель увлечется новой задачей и "забудет" про тон или важную оговорку.
3. Снижение вероятности конфликта: Явно повторяя правила, мы уменьшаем вероятность того, что новая инструкция ("напиши пост") будет интерпретирована в отрыве от старых, что могло бы привести к генерации текста со сложной терминологией или без необходимой юридической оговорки.

Сценарий: Пользователь планирует отпуск с семьей и использует LLM как турагента.

Первый промпт:

Помоги мне спланировать семейный отпуск в Италии на 10 дней в августе.
### КЛЮЧЕВЫЕ ОГРАНИЧЕНИЯ

1. **Бюджет:** Строго до 3000 евро на проживание и развлечения (без учета перелета).
2. **Состав:** Двое взрослых и ребенок 7 лет. Нужны активности, интересные ребенку.
3. **Темп:** Спокойный, не более одного города/переезда за 3-4 дня. Мы не хотим "галопом по Европам".

### ЗАДАЧА 1

Предложи 2-3 варианта маршрута с учетом этих ограничений.

...модель предлагает маршруты (например, Рим-Флоренция и Озеро Гарда)...

ХОРОШИЙ СЛЕДУЮЩИЙ ПРОМПТ:

Спасибо, вариант с Озером Гарда выглядит очень привлекательно. Давай остановимся на нем.
### КРАТКОЕ НАПОМИНАНИЕ

- **Бюджет:** Остаемся в рамках 3000 евро.
- **Фокус:** Развлечения для ребенка 7 лет.
- **Темп:** Спокойный, без спешки.

### ЗАДАЧА 2

Теперь, пожалуйста, подбери 3 варианта апартаментов или отелей с бассейном у Озера Гарда на 10 дней в августе. Для каждого варианта укажи примерную стоимость, чтобы мы уложились в бюджет, и кратко опиши, какие развлечения для ребенка есть поблизости (парки, пляжи, детские площадки).

Механизм тот же, что и в первом примере, и он основан на выводах исследования о внимании и приоритетах LLM.

1. Предотвращение "дрейфа" контекста: После первого ответа модели фокус диалога сместился на конкретный регион (Озеро Гарда). Без напоминания модель могла бы увлечься подбором "лучших" отелей в целом, потенциально проигнорировав строгий бюджет или темп поездки, так как эти инструкции были даны "давно" (один промпт назад).
2. Активное управление вниманием: Блок ### КРАТКОЕ НАПОМИНАНИЕ работает как якорь. Он заставляет LLM перед поиском отелей снова "взвесить" и учесть три самых важных для пользователя фактора: деньги, интересы ребенка и темп.
3. Повышение надежности: Эта техника напрямую повышает надежность и стабильность ответов в многошаговых задачах. Пользователь не надеется на "здравый смысл" или "память" модели, а явно управляет ее поведением, что приводит к более релевантным и точным результатам, соответствующим всем изначальным требованиям.

• A. Релевантность техникам промтинга: Да, исследование напрямую анализирует, почему LLM терпят неудачу в многоэтапных диалогах, что напрямую влияет на то, как нужно формулировать последовательные промпты.
• B. Улучшение качества диалоговых ответов: Да, понимание выводов исследования позволяет пользователю строить диалог так, чтобы избежать "забывания" моделью ключевых инструкций, что критически повышает точность и релевантность ответов в длинных чатах.
• C. Прямая практическая применимость: Да, выводы можно применить немедленно и без каких-либо инструментов. Пользователь может сразу изменить свою стратегию общения с LLM, начав повторять ключевые ограничения в последующих запросах.
• D. Концептуальная ценность: Очень высокая. Исследование вскрывает фундаментальное ограничение LLM: разрыв между "памятью" (способностью вспомнить инструкцию) и "применением" (способностью следовать ей в условиях новых или противоречивых данных). Это формирует у пользователя правильную "ментальную модель" LLM.
• E. Новая полезная практика (кластеры): Исследование попадает сразу в несколько ключевых кластеров:
  • №2 (Поведенческие закономерности LLM): Главный вывод — производительность модели падает с увеличением числа ходов в диалоге, и модель чрезмерно фокусируется на последней инструкции.
  • №6 (Контекст и память): Демонстрирует, почему наивная вера в "память" модели приводит к ошибкам, и почему нужно активно управлять контекстом.
  • №7 (Надежность и стабильность): Объясняет причины ненадежности в задачах, требующих соблюдения правил (приватность, персонализация, приоритеты) на протяжении всего диалога.
• Чек-лист практичности (+15 баллов): Да, работа раскрывает неочевидные особенности поведения LLM (провал внимания при хорошей памяти), показывает, как структурировать сложные запросы (повторяя ограничения), и предлагает способы улучшить consistency.

Оценка 92 из 100 обусловлена огромной концептуальной и прямой практической пользой для любого пользователя, который ведет с LLM диалоги длиннее 2-3 реплик. Исследование дает фундаментальное понимание, почему LLM "сбиваются с толку" и как этого избежать.