TL;DR
LLM может дать правильный ответ через совершенно разное рассуждение — каждый раз как с чистого листа. Исследование показало: если задать модели два похожих вопроса (например, про схожие клинические случаи), структура её рассуждений будет настолько разной, что практически не отличается от рассуждений о совершенно непохожих вещах. Граф «как она думала» почти одинаковый у правильных и неправильных ответов. Это значит: цепочка рассуждений выглядит убедительно — но это не доказательство, что ответ надёжен.
Практическая боль — ты просишь LLM разобрать задачу, получаешь развёрнутое логичное объяснение, думаешь «ага, модель хорошо проанализировала». Но это поверхностная реконструкция под конкретный случай, а не стабильная схема анализа. Проверить это просто: задай похожий вопрос чуть иначе — и рассуждение будет другим, хотя ответ может совпасть.
Исследование также обнаружило: среди трёх типов промптов один существенно улучшает качество анализа внутри одного ответа — это Structured Reflection Protocol (протокол структурированной рефлексии). Трёхфазный промпт, в котором модель сначала формулирует задачу, затем атакует свой собственный вывод, и только потом решает — защитить или пересмотреть.
Схема метода
ШАГ 1: Представление задачи
→ Модель формулирует суть проблемы своими словами
ШАГ 2: Стресс-тест (атака на собственный вывод)
→ Модель приводит аргументы ПРОТИВ своего главного вывода
→ Ищет альтернативы и слабые места
ШАГ 3: Защита или пересмотр
→ Явное решение: остаться при своём OR скорректировать вывод
→ С объяснением что именно изменилось и почему
Всё выполняется в одном промпте.
Пример применения
Задача: Ты думаешь запустить телеграм-канал с платной подпиской. Просишь Claude оценить идею — и хочешь получить честный анализ, а не поддакивание.
Промпт:
Я хочу запустить телеграм-канал с платной подпиской за 990 рублей в месяц.
Тема: разборы переговорных техник на реальных примерах из российского бизнеса.
Аудитория — менеджеры по продажам и руководители малого бизнеса.
Разбери идею в три фазы:
ФАЗА 1 — Представление задачи:
Сформулируй, что я пытаюсь сделать, какую проблему решить и за счёт чего
это должно работать. Своими словами, без украшений.
ФАЗА 2 — Стресс-тест:
Приведи самые сильные аргументы ПРОТИВ этой идеи.
Почему это может провалиться? Какие допущения я делаю неправильно?
Что упускаю? Какие альтернативы у аудитории есть вместо моего канала?
ФАЗА 3 — Защита или пересмотр:
Теперь реши: идея жизнеспособна или нет?
Если жизнеспособна — что нужно изменить с учётом критики из Фазы 2?
Если нет — сформулируй почему, и что было бы рабочей альтернативой.
Результат: В Фазе 1 модель перефразирует идею — и уже здесь часто обнаруживаются размытые допущения, которые ты не замечал. В Фазе 2 выйдут конкретные риски: насыщенность рынка, сложность монетизации, конкуренция с бесплатным контентом. В Фазе 3 — не общая оценка, а конкретное решение с обоснованием и правками. Разница с обычным «оцени идею» — модель не ищет баланс между плюсами и минусами, а сначала специально атакует, потом решает.
Почему это работает
LLM склонна к подтверждению первого вывода. Когда ты просишь «оцени идею», модель генерирует первый правдоподобный вывод — и дальше ищет ему подтверждения. Это не «предвзятость» в психологическом смысле, а свойство авторегрессивной генерации: следующий токен строится на предыдущих. Первый вывод задаёт тон всему ответу.
Явная инструкция атаковать меняет траекторию. Когда в промпте написано «приведи аргументы ПРОТИВ», модель получает другую отправную точку во второй фазе. Исследование показало: этот тип промпта увеличивает количество различающих аргументов (тех, что разграничивают гипотезы) на 33% по сравнению с базовым запросом. Не «подумай лучше» — а конкретная структура с явным переключением режима.
Рычаги управления: - Глубина атаки — можно добавить «назови минимум 5 аргументов против» для жёсткого стресс-теста - Альтернативы — в Фазе 2 добавь «предложи три альтернативных подхода» — расширишь поиск - Роль критика — вместо нейтрального «приведи аргументы» напиши «ты скептичный инвестор» — острее исполнение роли
Шаблон промпта
Задача: {описание задачи или идеи, которую нужно оценить}
Разбери в три фазы:
ФАЗА 1 — Представление задачи:
Сформулируй своими словами: что здесь пытается быть сделано,
какая предполагаемая ценность и на каких допущениях это держится.
ФАЗА 2 — Стресс-тест (аргументы ПРОТИВ):
Приведи {число_аргументов} самых сильных аргументов против {главный_вывод}.
Что может пойти не так? Какие допущения из Фазы 1 ошибочны?
Какие альтернативы существуют?
ФАЗА 3 — Защита или пересмотр:
Прими явное решение: {главный_вывод} подтверждается или пересматривается?
Если подтверждается — что нужно скорректировать с учётом Фазы 2?
Если пересматривается — сформулируй новый вывод и обоснуй переход.
Что подставлять:
- {описание задачи} — идея, решение, план, аргумент, который хочешь проверить
- {число_аргументов} — 3–5 для быстрого теста, 7–10 для серьёзного разбора
- {главный_вывод} — конкретно: «идея жизнеспособна», «это правильное решение», «план реалистичен»
🚀 Быстрый старт — вставь в чат:
Вот шаблон Structured Reflection Protocol. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит что именно нужно оценить и какой главный вывод атаковать — потому что метод строится вокруг переключения между поддержкой и атакой конкретной гипотезы, и без неё структура не работает.
Ограничения
⚠️ Качество внутри ≠ надёжность между случаями: Протокол делает рассуждение более детальным и дискриминирующим внутри одного ответа — но не делает модель стабильнее при похожих запросах. Задай вопрос завтра в другом контексте — рассуждение будет другим, даже если ответ совпадёт.
⚠️ Не для простых задач: Трёхфазная структура избыточна там, где ответ очевиден или задача фактологическая. Метод раскрывается на сложных аналитических задачах с конкурирующими гипотезами.
⚠️ Структурированная рефлексия ≠ гарантия правильного ответа: Исследование показало, что точность ответа и качество структуры рассуждений — независимые измерения. Красиво структурированное рассуждение бывает у неправильных ответов так же часто, как у правильных.
Как исследовали
Команда взяла 50 сложных клинических случаев из New England Journal of Medicine — задачи, где даже опытным врачам непросто поставить диагноз. Пять топовых моделей (включая GPT-5, Claude Opus/Sonnet 4.5, Gemini 3 Pro) каждую задачу решали в трёх режимах: базовый промпт, «атакуй свой вывод», структурированная рефлексия. Итого 750 ответов.
Чтобы сравнивать структуру мышления, а не только финальный ответ, исследователи преобразовали каждый ответ в граф — сеть узлов (признаки, гипотезы, аргументы) и связей (поддерживает, опровергает, пересматривает). Потом сравнили: похожи ли графы у схожих клинических случаев?
Результат удивил: схожие случаи не давали похожих графов. Разница между «рассуждения о похожих случаях» и «рассуждения о разных случаях» статистически нулевая — 0.475 против 0.472. Особенно неожиданно: правильные ответы и неправильные имели почти одинаковую структуру рассуждений (0.488 против 0.484). А вот structured reflection промпт дал +33% к количеству различающих аргументов внутри одного ответа — это единственное, где эффект был реальным.
Главный инсайт: точность не равно стабильное мышление
Это стоит вынести отдельно, потому что меняет отношение к LLM-ответам.
Когда LLM рассуждает убедительно — это не доказательство надёжности. Модель каждый раз реконструирует путь к ответу заново, под конкретный запрос. Эксперт-врач, встречая похожие случаи, активирует похожую схему анализа — стабильный паттерн. LLM этого не делает. Её рассуждения — не схема, а ситуативная генерация.
Практически это значит три вещи: - Не доверяй рассуждению только потому что оно выглядит продуманным — проверяй факты отдельно - Одна проверка не генерализуется — если модель хорошо разобрала один похожий кейс, не значит что разберёт следующий так же - Структурированный промпт улучшает конкретный ответ — но не делает модель «умнее в целом» по теме
Оригинал из исследования
Описание structured reflection prompting condition из статьи:
The structured reflection prompt used a phased protocol requiring
a problem representation, balanced stress test, and explicit
defend-or-update decision for each diagnosis (Dhaliwal, 2017).
Each trace was generated from a single prompt in one autoregressive
pass at temperature 1.0; the phased conditions sequence their
protocol phases within that prompt rather than across separate
model turns.
Контекст: Авторы тестировали три условия промптинга на 50 сложных клинических случаях. Structured reflection — прямая реализация ART-фреймворка Dhaliwal (2017), инструмента обучения клинического мышления. Всё три фазы исполнялись в одном промпте, не в диалоге.
Адаптации и экстраполяции
1. Техника: добавь роль скептика в Фазу 2 → острее критика
🔧 Замена нейтральной Фазы 2 на ролевую атаку
Вместо:
Приведи аргументы против этой идеи.
Напиши:
ФАЗА 2 — Ты Михаил Токовинин (основатель amoCRM),
который скептически смотрит на любую идею без доказанного спроса.
С его позиции: почему эта идея провалится?
Конкретная роль с известным стилем мышления даёт более острые и специфичные аргументы, чем безликое «приведи критику».
2. Адаптация: проверка важного решения через параллельные рассуждения
Если знаешь, что LLM каждый раз рассуждает по-разному — используй это как инструмент. Задай одну и ту же задачу три раза в разных сессиях (или с просьбой «рассуди иначе»). Если все три пути ведут к одному выводу — значит вывод устойчив. Если рассуждения расходятся — значит задача неоднозначна и стоит разобраться почему.
Разбери вопрос: {твой вопрос}
После ответа — дай второй, альтернативный разбор с другой отправной точки.
Какой вывод делаешь во втором разборе? Совпадает ли с первым?
Если нет — что это означает для финального решения?
Ресурсы
Название работы: Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency
Репозиторий: github.com/nisargpatel/clinical-reasoning-graphs — онтология, пайплайн, 750 графов, код оценки
Авторы: Nisarg Patel — Department of Oral and Maxillofacial Surgery + Department of Medicine, Division of Clinical Informatics and Digital Transformation, University of California, San Francisco (UCSF)
Опубликовано: Workshop on Structured Data for Health, 43rd ICML, Сеул, 2026
Ключевые отсылки из статьи: Dhaliwal G. (2017) — ART Framework (Assessment of Reasoning Tool); Charlin et al. (2000) — Script Concordance Test; Basu & Chakraborty (2026) — "Illusion of Reasoning" (chain-of-thought steps часто декоративны)