RELIC - Оценка следования композиционным инструкциям через распознавание языка

Исследователи проверяли, насколько хорошо LLM могут следовать большому набору сложных, взаимосвязанных правил. Для этого они давали модели формальную грамматику (по сути, свод правил языка) и просили определить, соответствует ли заданная строка символов этим правилам. Оказалось, что даже самые продвинутые модели быстро "ломаются" и начинают угадывать, как только сложность грамматики (количество правил) или длина строки немного возрастают.

Ключевой результат: У LLM есть предел "композиционной сложности" — способности одновременно удерживать в "уме" и применять множество взаимосвязанных инструкций.

Представьте, что вы даете LLM не обычный промпт, а подробную инструкцию по сборке сложной модели самолета. Инструкция состоит из 500 шагов, где шаг 250 ссылается на деталь из шага 12, а шаг 400 требует использовать узел, собранный на шаге 78. Это и есть аналог "формальной грамматики" из исследования — набор строгих, взаимосвязанных правил.

Затем вы показываете модели фотографию наполовину собранного самолета ("строка символов") и спрашиваете: "Этот самолет собран правильно по этой инструкции?".

Исследование показало, что если инструкция простая (мало шагов) и модель самолета маленькая (короткая "строка"), LLM справляется. Она честно пытается проследить шаги сборки ("rule-based" подход). Но как только инструкция становится сложной (много правил) или модель большая, LLM сдается. Вместо того чтобы следовать инструкции, она начинает рассуждать поверхностно: "Ну, вроде крылья на месте, хвост есть... Похоже на самолет. Наверное, все правильно". Это переход к "эвристическому" подходу — угадыванию на основе общих признаков, а не строгой логики.

Практический вывод для промптинга: Ваш промпт — это та же инструкция по сборке. Если вы заложите в него слишком много перекрестных условий, зависимостей и сложных правил, LLM, скорее всего, проигнорирует часть из них и выдаст ответ, основанный на "общем впечатлении", а не на точном следовании вашим указаниям.

*Прямая применимость:Пользователь должен осознанно избегать создания "промптов-монстров" с десятками взаимозависимых правил. Вместо этого следует применять декомпозицию: разбивать одну сложную задачу на несколько последовательных и более простых шагов, каждый из которых LLM может надежно выполнить.

• Концептуальная ценность: Главная идея — "бюджет сложности". У каждой LLM есть ограниченный ресурс на обработку логических связей. Каждый раз, когда вы добавляете в промпт условие типа "сделай А, но если Б, то сделай В, учитывая правило Г", вы расходуете этот бюджет. Когда бюджет исчерпан, модель переходит в "режим экономии", то есть к угадыванию. Это объясняет, почему LLM может блестяще справиться с 5 задачами по отдельности, но провалить одну задачу, объединяющую эти 5.

• Потенциал для адаптации: Механизм адаптации — это последовательная декомпозиция. Вместо одного большого запроса, выстраивайте диалог или промпт в виде цепочки.

  1. Сначала запросите базовую информацию (Шаг 1).
  2. Затем, на основе полученного ответа, попросите применить первое сложное правило (Шаг 2).
  3. Затем — следующее, и так далее. Вы, как пользователь, выступаете в роли "внешнего процессора", который управляет сложностью, подавая ее модели порциями, которые та способна "переварить".

Этот пример иллюстрирует проблему, которую вскрыло исследование. Он намеренно перегружен композиционной сложностью, чтобы показать, где LLM, скорее всего, начнет ошибаться.

**Роль:** Ты — опытный event-менеджер.
**Контекст:** Мне нужно, чтобы ты разработал концепцию корпоративного мероприятия для IT-компании "НейроСофт" на 100 человек.

**Задача:** Подготовь детальный план мероприятия, строго следуя ВСЕМ нижеперечисленным правилам. Отклонения недопустимы.

**Свод правил:**
1. **Тематика:** Киберпанк, но без мрачных элементов. Цветовая гамма — неоновые синий и фиолетовый, но избегай красного цвета.
2. **Бюджет:** Общий бюджет — 1,000,000 рублей.
3. **Распределение бюджета:** На кейтеринг должно уйти ровно 40% от общего бюджета. На развлечения — 30%. Оставшийся бюджет делится поровну между арендой площадки и декором.
4. **Кейтеринг:** Меню должно быть фуршетным. Обязательно должны быть вегетарианские опции (не менее 30% от всех блюд). Напитки — только безалкогольные, за исключением одного фирменного коктейля, название которого должно быть связано с тематикой (Правило 1).
5. **Развлечения:** Должно быть два вида активностей: одна — интеллектуальная (например, квиз), вторая — технологичная (например, VR-зона). Тематика квиза должна соответствовать истории компании "НейроСофт", а VR-зона не должна использовать красный цвет в интерфейсе (ссылка на Правило 1).
6. **Площадка:** Лофт, расположенный в пределах ТТК Москвы, с площадью не менее 300 кв.м.
7. **Дресс-код:** Должен соответствовать тематике (Правило 1), но быть комфортным. Укажи 3-4 примера образов для мужчин и женщин.

**Результат:** Предоставь структурированный план в виде таблицы с колонками: "Пункт плана", "Описание", "Ответственный (гипотетический)", "Бюджет".

Этот промпт является практической иллюстрацией сложной грамматики из исследования. Он работает (точнее, показывает слабость LLM) за счет следующих механик:

• Высокая композиционная сложность: Правила сильно переплетены. Бюджет на декор (Правило 3) зависит от бюджета на кейтеринг и развлечения. VR-зона (Правило 5) зависит от цветовой гаммы (Правило 1). Фирменный коктейль (Правило 4) также зависит от тематики (Правило 1).
• Множественные ограничения: LLM нужно одновременно удерживать в "памяти" и применять около 10-12 различных ограничений (бюджет, проценты, цвета, типы активностей, меню и т.д.).
• "Длинный вывод": Чтобы вычислить бюджет на декор, модели нужно выполнить несколько последовательных вычислений, основанных на других правилах.

С большой вероятностью, при выполнении этого запроса модель допустит ошибку: неправильно рассчитает бюджет, забудет про ограничение на красный цвет в VR, или предложит алкогольные напитки, кроме одного разрешенного. Она "сдастся" и перейдет к эвристике — сгенерирует "просто хороший план мероприятия в стиле киберпанк", проигнорировав часть самых сложных взаимосвязей.

Этот пример показывает, как применить выводы исследования на практике, то есть разбить сложную задачу на последовательные шаги, чтобы избежать провала.

**Роль:** Ты — мой личный консультант по здоровому образу жизни. Мы будем работать по шагам. Не делай ничего, пока я не дам команду для следующего шага.
**Контекст:** Я хочу составить для себя персональный недельный план питания и тренировок.
Мои данные: мужчина, 30 лет, вес 85 кг, рост 180 см, офисная работа.
Моя цель: сбросить 3-4 кг за месяц.
Пищевые ограничения: непереносимость лактозы, не люблю рыбу.
Предпочтения в еде: курица, индейка, гречка, овощи, творог (безлактозный).
Доступ к спортзалу: 3 раза в неделю (понедельник, среда, пятница).

**ШАГ 1: Расчет калорий и БЖУ.**
На основе моих данных и цели, рассчитай мою дневную норму калорий для похудения, а также баланс белков, жиров и углеводов. Просто дай мне цифры.
`*(...пользователь получает ответ и дает следующую команду...)*`markdown
**ШАГ 2: Составление меню на 3 дня.**
Отлично. Теперь, используя рассчитанную норму калорий и БЖУ, а также мои пищевые ограничения и предпочтения, составь подробное меню на понедельник, вторник и среду. Распиши завтрак, обед, ужин и один перекус.
`*(...пользователь получает ответ и дает следующую команду...)*`markdown
**ШАГ 3: План тренировок.**
Спасибо. Теперь составь план силовых тренировок на 3 дня (Пн, Ср, Пт). Каждая тренировка должна быть на все тело (full-body). Включи 5-6 упражнений в каждую тренировку с указанием подходов и повторений.

Этот подход работает, потому что он напрямую применяет выводы исследования RELIC для обхода ограничений LLM.

• Декомпозиция сложности: Вместо одного гигантского промпта "составь мне план питания и тренировок с учетом всего", мы разбиваем задачу на три независимых, легко управляемых подзадачи: 1) расчеты, 2) генерация меню, 3) создание программы тренировок.
• Снижение когнитивной нагрузки: На каждом шаге LLM нужно сфокусироваться только на одной конкретной задаче, используя ограниченный набор правил. Например, на Шаге 1 она полностью игнорирует тренировки и предпочтения в еде. На Шаге 2 она использует результат Шага 1 как данность и концентрируется только на меню. Это удерживает сложность в пределах "бюджета" модели.
• Управление контекстом: Пользователь сам управляет контекстом, подавая информацию порционно и проверяя результат каждого этапа. Это снижает риск того, что модель "забудет" или проигнорирует одно из многочисленных начальных условий. Мы превращаем одну сложную "грамматику" в три простые и последовательные.

• A. Релевантность техникам промтинга: Дает концептуальное понимание, почему сложные промпты с множеством взаимосвязанных правил могут провалиться. Не дает конкретных фраз, но объясняет фундаментальный принцип.
• B. Улучшение качества диалоговых ответов: Косвенно. Понимание ограничений модели позволяет пользователю формулировать запросы таким образом, чтобы избежать ошибок и "галлюцинаций", связанных со сложностью задачи.
• C. Прямая практическая применимость: Низкая, если говорить о самом методе (никто не будет писать формальные грамматики). Однако выводы исследования имеют высочайшую прямую применимость для построения сложных промптов.
• D. Концептуальная ценность: Очень высокая. Исследование блестяще иллюстрирует "предел сложности" для LLM. Оно показывает, что при превышении определенного порога взаимосвязанных инструкций модель "ломается" и переключается с логического анализа на эвристику (угадывание).
• E. Новая полезная практика (кластеризация):
  • (2) Поведенческие закономерности LLM: Ключевой вклад. Демонстрирует, что производительность модели падает с ростом композиционной сложности (количества взаимосвязанных правил).
  • (3) Оптимизация структуры промптов: Показывает, что даже идеальная структура (как формальная грамматика) не спасает, если логическая сложность задачи слишком велика.
  • (7) Надежность и стабильность: Объясняет, почему LLM становятся ненадежными при решении задач с множеством условий.
• Чек-лист практичности (+15 баллов): Да, работа раскрывает неочевидные особенности поведения LLM (переключение со строгой логики на эвристику) и предлагает способы улучшить точность (через упрощение и декомпозицию задачи).

Оценка 92 обусловлена огромной концептуальной ценностью исследования для любого пользователя, который хочет выйти за рамки простых запросов. Оно не дает готовых "рецептов", но объясняет фундаментальный закон, управляющий поведением LLM при работе со сложностью. Понимание этого закона позволяет не просто писать хорошие промпты, а проектировать взаимодействие с LLM, избегая провалов.