Цепочка защитного мышления структурированного рассуждения вызывает устойчивость в больших языковых моделях

Исследование представляет метод "Цепочка защитных рассуждений" (Chain of Defensive Thought, CoDT) — промпт-технику, которая повышает устойчивость LLM к ложной или вредоносной информации, подмешанной в предоставленный контекст. Вместо того чтобы сразу отвечать на вопрос, модель сначала получает инструкцию проанализировать все источники, определить релевантные и надежные, а уже затем формулировать ответ на их основе. Это значительно снижает вероятность того, что модель будет введена в заблуждение "отравленным" источником.

Ключевой результат: Принуждение LLM к промежуточному этапу явной оценки и отбора источников перед ответом кардинально повышает надежность ее выводов при работе с несколькими, в том числе противоречивыми, текстами.

Суть метода "Цепочка защитных рассуждений" заключается в том, чтобы превратить LLM из доверчивого исполнителя в осторожного аналитика. Вместо того чтобы слепо верить всей информации, которую вы ей даете в промпте, вы заставляете ее сначала провести внутренний аудит этих данных.

Практически это реализуется через промпт, который разбивает задачу на два шага:

1. Шаг оценки: Вы прямо приказываете модели: "Сначала определи релевантные и надежные источники из тех, что я тебе дал. Подумай, какие из них согласуются друг с другом, а какие противоречат". Вы просите модель явно проговорить этот анализ.
2. Шаг ответа: После того как модель провела оценку, вы даете ей вторую команду: "А теперь, основываясь только на тех источниках, которые ты посчитала надежными, дай ответ на мой вопрос".

Таким образом, вы не позволяете модели сразу "схватиться" за первый попавшийся или самый убедительно написанный фейковый фрагмент текста. Вы заставляете ее сначала сопоставить все фрагменты, найти консенсус и отбросить "выбросы". Это как попросить человека не делать поспешных выводов, а сначала изучить все "за" и "против". В исследовании показано, что такой подход может поднять точность ответа с катастрофических 3% до вполне приемлемых 50% в условиях атаки на данные.

*Прямая применимость:Пользователь может немедленно применить эту технику, когда ему нужно проанализировать несколько источников текста. Например, при сравнении отзывов на товар, анализе новостных статей из разных изданий или при работе с выгрузкой данных из корпоративной базы знаний. Достаточно структурировать промпт по предложенному шаблону: пронумеровать источники, добавить инструкцию по оценке и использовать маркерыReason:иAnswer:.

• Концептуальная ценность: Главный вывод для пользователя — LLM по умолчанию не обладают критическим мышлением. Они уязвимы к "эффекту авторитета" или просто к последнему фрагменту информации в контексте. CoDT учит пользователя "проектировать" критическое мышление прямо в промпте, заставляя модель следовать процессу, который снижает ее врожденную доверчивость. Это помогает понять, что LLM — это не мудрец, а мощный, но наивный инструмент, который нужно правильно направлять.

• Потенциал для адаптации: Даже если не использовать строгий шаблон из статьи, основной принцип легко адаптируется. Вместо сложной инструкции можно использовать упрощенные варианты:

  • "Сравни эти три отзыва. Прежде чем дать рекомендацию, укажи на любые противоречия в них."
  • "Проанализируй эти два отчета. Найди три ключевых расхождения в данных и только потом сделай обобщенный вывод."
  • "Вот выдержки с форума. Отдели факты от мнений и эмоциональных высказываний, а затем составь краткую сводку фактов."

Механизм адаптации прост: всегда добавлять в промпт промежуточный шаг, требующий от модели рефлексии, критики или сравнения источников перед тем, как она даст финальный ответ.

Этот промпт работает за счет нескольких механизмов, описанных в исследовании:

1. Принудительная структуризация: Требование пронумеровать и отдельно проанализировать контексты не дает модели смешать все в кучу. Она вынуждена рассматривать каждый источник как отдельную единицу информации.
2. Явный этап оценки: Инструкция "сначала определи релевантные и надежные контексты" активирует у модели процесс, похожий на критическое мышление. Она видит явное противоречие между восторженным Контекстом 1, негативным Контекстом 3 и сбалансированным Контекстом 2. Модель, скорее всего, признает Контекст 2 наиболее надежным, так как он содержит конкретные цифры (6 часов) и детали, а Контекст 1 и Контекст 3 — слишком эмоциональны и могут быть необъективными.
3. Разделение рассуждения и ответа (Reason: / Answer:): Этот прием заставляет модель "показать свою работу". В блоке Reason: она будет вынуждена написать что-то вроде: "Контекст 1 и 3 слишком эмоциональны и противоречат друг другу. Контекст 2 выглядит как объективный обзор с конкретными данными. Поэтому я буду опираться в основном на него". Это предотвращает поспешный вывод и делает финальный ответ в блоке Answer: гораздо более взвешенным и устойчивым к "вбросам".

Этот пример работает по тому же принципу "защитного мышления", но с акцентом на выявление противоречий и оценку надежности источников.

1. Фокус на противоречии: Инструкция "Выяви противоречия" напрямую заставляет модель столкнуть Источник 1 (личный, позитивный опыт) с Источником 2 (статистические данные) и Источником 3 (экспертное мнение). Модель не может просто проигнорировать один из них.
2. Оценка надежности: Прямой вопрос об оценке надежности подталкивает модель к логическому выводу: статистические данные (Источник 2) и авторитетный путеводитель (Источник 3) являются более надежной основой для планирования, чем единичный, пусть и позитивный, опыт из блога (Источник 1).
3. Формирование взвешенного ответа: Вместо того чтобы выдать однозначное "да" (на основе блога) или "нет" (на основе пика дождей), модель будет вынуждена в блоке Answer: дать сбалансированный совет. Она объяснит, что поездка возможна и имеет плюсы (цены, мало людей), но сопряжена с высокими рисками частых дождей, что критично для пляжного отдыха. Это именно тот тип nuanced (нюансированного) ответа, который наиболее полезен пользователю.

• Предварительный фильтр: Исследование полностью сфокусировано на текстовых промптах и их оптимизации для повышения надежности ответов LLM при работе с предоставленным контекстом. Ограничение в 1-9 баллов не применяется.
• A. Релевантность техникам промтинга: Максимальная. Исследование предлагает конкретную, воспроизводимую структуру промпта и фразы-инструкции.
• B. Улучшение качества диалоговых ответов: Очень высокое. Метод напрямую нацелен на повышение точности и снижение уязвимости к ложной информации в контексте, что является ключевым для качества ответов в RAG-сценариях.
• C. Прямая практическая применимость: Максимальная. Это "prompting-only" подход. Пользователю не нужен код, API или донастройка модели. Технику можно применить здесь и сейчас в любом чат-боте.
• D. Концептуальная ценность: Очень высокая. Работа наглядно демонстрирует фундаментальную уязвимость LLM — их доверчивость к предоставленному контексту. Она формирует у пользователя "ментальную модель" необходимости заставлять LLM проводить самопроверку.
• E. Новая полезная практика: Работа попадает сразу в несколько ключевых кластеров:
  • Кластер 1 (Техники формулирования): Является развитием идеи Chain-of-Thought для задач анализа контекста.
  • Кластер 2 (Поведенческие закономерности): Ярко иллюстрирует, насколько сильно LLM подвержены "отравлению" контекста (reference corruption).
  • Кластер 3 (Оптимизация структуры): Предлагает конкретную структуру с нумерацией источников и разделителями Reason: и Answer:.
  • Кластер 6 (Контекст и память): Напрямую относится к работе с несколькими источниками в контексте.
  • Кластер 7 (Надежность и стабильность): Основная цель исследования — повышение надежности и снижение влияния "галлюцинаций", подброшенных через контекст.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые фразы, показывает, как структурировать сложные запросы на основе нескольких источников, и предлагает способы кардинально улучшить точность ответов. Бонус применяется.