TL;DR
Каждый раз, когда модель "критикует саму себя" или "дискутирует сама с собой" без повторной подачи исходных данных, качество рассуждений падает — хотя финальный ответ на вид остаётся правильным. Авторы называют это Reasoning Trap: ловушка, в которую попадает любая замкнутая цепочка итераций над собственными выводами.
Проблема не очевидна, потому что ответ чаще всего не портится — портится обоснование. Модель перестаёт ссылаться на исходный документ или факты и начинает опираться на предыдущий вывод, который сам опирался на предыдущий вывод. Как испорченный телефон: последнее сообщение может звучать разумно, но связь с источником оборвана. Математически это неизбежно: каждый шаг обработки может только терять информацию об исходных данных — это следует из теоремы обработки информации.
Решение — открытая цепочка: на каждом шаге заново вводить исходные данные в контекст. Авторский протокол EGSR (Evidence-Grounded Socratic Reasoning — сократовские вопросы, заземлённые в доказательствах) делает именно это и восстанавливает 98% исходного качества рассуждений.
Схема метода
ЛОВУШКА (закрытая цепочка):
Данные E → ответ O[0] → "покритикуй" → O[1] → "улучши" → O[2]
↳ Каждый шаг отдаляется от E. Ответ выглядит связно. Обоснование — нет.
ИСПРАВЛЕНИЕ (открытая цепочка — EGSR):
Данные E + вопрос → O[0]
Данные E + O[0] + сократовский вопрос → O[1]
Данные E + O[1] + проверочный вопрос → финальный вывод
↳ E повторяется на каждом шаге. Связь с источником не обрывается.
Все шаги — в отдельных сообщениях чата. E — это ваш исходный документ, факты, условия задачи.
Пример применения
Задача: Вы получили оферту от инвестора на 10 млн рублей за 15% доли. Хотите разобраться в условиях и понять, что скрыто в формулировках.
Промпт — Шаг 1:
Вот текст оферты:
[вставить текст оферты — это ваше E]
Разбери пункт про ликвидационный приоритет: что именно он означает
для основателя при выходе инвестора?
Промпт — Шаг 2 (re-inject E):
Вот текст оферты:
[вставить текст оферты снова]
Ты написал, что ликвидационный приоритет 1x non-participating — это
стандартные условия. Найди в тексте конкретные формулировки, которые
это подтверждают или опровергают.
Промпт — Шаг 3 (re-inject E):
Вот текст оферты:
[вставить текст оферты снова]
Учитывая пункты X и Y из текста, какие сценарии наиболее невыгодны
для основателя при оценке компании ниже $1M?
Результат: На каждом шаге модель возвращается к тексту оферты, а не опирается на предыдущий вывод. Вы получите разбор с конкретными цитатами и ссылками на пункты — а не красивые общие фразы, которые постепенно отрываются от реального документа.
Почему это работает
Проблема LLM: Модель не "помнит" документ между шагами — она генерирует следующий токен на основе того, что уже написано в контексте. Если исходный документ вытесняется накопленными выводами, модель продолжает генерировать по паттерну предыдущего ответа, а не по документу.
Математика проста: Каждая обработка информации может только уменьшать её количество — никогда не увеличивать. Попросить модель "покритиковать себя" без исходных данных — это не добавить новое знание, это перемешать уже имеющееся. Авторы доказывают это формально через неравенство обработки данных (Data Processing Inequality).
Как EGSR ломает ловушку: Повторная подача E на каждом шаге не даёт цепочке "захлопнуться". Модель вынуждена каждый раз сверяться с источником, а не рекурсивно улучшать предыдущий ответ. Сократовские вопросы ("покажи это в тексте", "что именно написано про X") делают каждый шаг проверяемым, а не просто правдоподобным.
Рычаги управления: - Глубина цепочки — чем важнее документ, тем больше шагов с re-injection оправдано - Тип вопроса — "найди в тексте" острее, чем "как ты думаешь" - Размер E — если документ длинный, вставляй только релевантный раздел, а не весь текст
Шаблон промпта
ШАГ 1 — НАЧАЛЬНЫЙ АНАЛИЗ:
Вот {источник — документ / факты / условия задачи}:
[текст E]
{Первый конкретный вопрос по существу}
---
ШАГ 2 — СОКРАТОВСКАЯ ПРОВЕРКА (новое сообщение):
Вот {источник — тот же текст E}:
[текст E снова]
Ты написал: "{ключевой тезис из предыдущего ответа}".
Найди в тексте конкретные фрагменты, которые это подтверждают
или опровергают.
---
ШАГ 3 — ФИНАЛЬНЫЙ ВЫВОД (новое сообщение):
Вот {источник — тот же текст E}:
[текст E снова]
Учитывая пункты {X и Y из текста}, {итоговый вопрос для решения}.
Что подставлять:
- {источник} — название документа: "оферта", "ТЗ", "стратегия конкурента", "условия договора"
- {текст E} — сам документ, который нужно анализировать. Вставляется заново в каждое сообщение
- Вопросы — от общего к частному, каждый следующий ссылается на конкретный тезис из предыдущего ответа
🚀 Быстрый старт — вставь в чат:
Вот шаблон EGSR (Evidence-Grounded Socratic Reasoning). Адаптируй
под мою задачу: {твоя задача}. Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что именно нужно проанализировать и какой документ служит источником — потому что E (исходные данные) должны быть конкретными, чтобы re-injection на каждом шаге имел смысл.
Ограничения
⚠️ Не для простых вопросов: Если ответ не требует рассуждений по документу ("какая столица Франции"), re-injection избыточен и только раздувает контекст.
⚠️ Скрытая ловушка самокритики: "Покритикуй свой ответ" или "найди слабые места" без повторной подачи источника — стандартный сценарий попадания в ловушку. Ответ звучит самокритично и умно, но критика оторвана от реальных фактов.
⚠️ Точность ≠ обоснованность: Модель может давать правильные ответы при плохой логике — особенно на знакомых ей темах. Если вы не можете проверить ответ независимо, цепочка без re-injection особенно опасна.
⚠️ Self-Consistency и MoE вне зоны проблемы: Авторы явно указывают: техники независимой выборки (Self-Consistency) и модели с разными весами (MoE) не попадают под этот эффект — они не образуют замкнутую цепочку.
Как исследовали
Идея была такая: взять 300 научных утверждений (SciFact) и 1000 фактов (FEVER), прогнать 16 конфигураций дебатных протоколов через несколько LLM и сравнить не только точность ответов, но и то, насколько рассуждения опираются на исходные доказательства. Для оценки второго авторы создали метрику SFS (Supported Faithfulness Score): каждый ответ разбивается на атомарные утверждения, каждое утверждение проверяется против исходного документа.
Результат оказался неожиданным по своей наглядности. В конфигурации DebateCV точность сохранилась на уровне 88% от исходной — но SFS упал на 43%. В крайнем случае, с голосованием большинства (majority-vote MAD), SFS рухнул до 1,7% от исходного уровня при сохранении приемлемой точности. Иными словами: модель давала правильные ответы практически без какой-либо связи с предоставленными доказательствами — она просто воспроизводила паттерн из предыдущих раундов дебатов.
Отдельно проверяли надёжность человеческих оценок. 10 корейских и 3 английских эксперта оценивали верность рассуждений — и согласие между ними оказалось почти нулевым (κ ≤ 0,018), а один и тот же человек менял оценки на 0,8–1,4 балла по шкале Лайкерта в зависимости от языка. Это само по себе важная находка: то, на что ориентируется вся литература по оценке LLM, оказалось нестабильным ориентиром.
Адаптации и экстраполяции
🔧 Техника: "якорный вопрос" вместо "улучши ответ"
Вместо: "Улучши свой предыдущий ответ"
Попробуй: "Вот исходный текст [E]. В своём ответе ты написал X. Какое конкретное место из текста это подтверждает?"Принуждает модель каждый раз возвращаться к источнику, а не рекурсивно полировать предыдущий вывод.
🔧 Техника: проверочный шаг в конце любой итерации
После любого сложного анализа добавь финальный шаг: "Вот [исходный текст / условия задачи]. Какие из твоих выводов напрямую следуют из этого текста, а какие ты вывел по аналогии?" — это ручной аналог SFS для важных решений.
Экстраполяция — Chain-of-Thought с evidence checkpoints:
Принцип Reasoning Trap работает и для длинного CoT в одном промпте. Если вы даёте сложную задачу с исходными данными и просите "рассуждай шаг за шагом" — добавьте в промпт явную инструкцию возврата к источнику:
Вот {условие задачи / документ}:
[текст E]
Реши задачу пошагово. На каждом шаге сначала процитируй
конкретный фрагмент из текста выше, на который опираешься,
затем сделай вывод. Если ты делаешь вывод без опоры на текст —
явно обозначь это как допущение.
Ресурсы
Название: The Reasoning Trap: An Information-Theoretic Bound on Closed-System Multi-Step LLM Reasoning
Авторы: Kwan Soo Shin (PolymathMinds AI Lab)
Статус: arXiv preprint, май 2026
Связанные концепции в исследовании: Data Processing Inequality (DPI), Multi-Agent Debate (Du et al., 2023), SciFact & FEVER benchmarks, DeGroot–Banerjee–Janis–Asch–Sunstein — 50-летняя линия социальной науки о групповом мышлении