TL;DR
LLM останавливается на первом правдоподобном ответе и перестаёт запрашивать дополнительную информацию — даже когда она критически важна. Это называется search satisficing ("удовлетворяющий поиск"): модель нашла объяснение, которое «сойдёт», и больше не копает. Чем дольше диалог, тем хуже — в финальных раундах модели запрашивали лишь 26% доступных данных вместо 57% в начале.
Главная находка: у LLM три систематических сбоя при работе с неполной информацией. Anchoring — модель цепляется за первое впечатление и не обновляет его при новых данных. Premature closure — закрывает вопрос до того, как собрала достаточно фактов. Search satisficing — перестаёт задавать вопросы слишком рано. Это ровно те же когнитивные искажения, что характерны для начинающих врачей. При этом рассуждения модели звучат убедительно — 91% следов мышления набрали высокий балл качества. Но убедительное рассуждение и правильный вывод — разные вещи. Красивая цепочка логики не гарантирует верный ответ.
Три техники противодействия: (1) явно запретить модели отвечать до получения N ответов на вопросы; (2) ввести «роль адвоката дьявола» — агента, который атакует первоначальный вывод; (3) после первого ответа явно попросить: «какая информация изменила бы твой вывод?». Все три работают в обычном чате без кода.
Схема метода
Три независимые техники — применяй по одной или вместе:
ТЕХНИКА 1 — Принудительный сбор информации (до ответа):
ШАГ 1: Запрети ответ → "Не отвечай на задачу, пока не задашь мне {N} вопросов"
ШАГ 2: Модель спрашивает → ты отвечаешь
ШАГ 3: Только после N вопросов → модель даёт вывод
ТЕХНИКА 2 — Дьявольский адвокат (после предварительного ответа):
ШАГ 1: Модель даёт первичный вывод
ШАГ 2: "Теперь возьми роль скептика: атакуй этот вывод,
какие данные ты не запросил?"
ШАГ 3: Синтез после атаки → финальный вывод
ТЕХНИКА 3 — Разморозка якоря (в любой момент):
ШАГ: "Какая информация, которую ты ещё не запросил,
могла бы изменить твой вывод?"
→ Одиночный промпт, работает в любой момент диалога
Техники 1 и 2 можно объединять в один промпт. Техника 3 — на лету в любой момент.
Пример применения
Задача выбрана так, чтобы показать ловушку: LLM без принуждения моментально выдаст «очевидный» диагноз бизнес-проблемы, не собрав фактов.
Задача: Основатель EdTech-стартапа на 15 млн рублей годовой выручки видит: продажи курсов упали на 30% за два месяца. Менеджеры уже «знают причину» — конкуренты демпингуют. Нужен настоящий разбор.
Промпт:
Ты — бизнес-аналитик, диагностирующий причину падения выручки.
ПРАВИЛО: Не делай выводов и не предлагай решений, пока не задашь мне
минимум 8 диагностических вопросов — по одному за раз.
Каждый следующий вопрос должен учитывать мои предыдущие ответы.
После 8 вопросов:
1. Сформулируй первичный диагноз причины
2. Перечисли, какие данные ты ещё НЕ запросил, но которые могли бы
изменить вывод
3. Возьми роль скептика: атакуй свой же диагноз — где он может быть
неверным?
4. Дай финальный вывод с учётом атаки
Ситуация: продажи курсов упали на 30% за 2 месяца. Начинай.
Результат: Модель последовательно задаст вопросы — про каналы трафика, когорты пользователей, изменения продукта, действия конкурентов, сезонность, изменения команды продаж, средний чек, возвраты. После 8 вопросов выдаст структурированный диагноз. Затем явно назовёт слепые пятна — что не спросила. В роли скептика атакует собственный вывод и скорректирует его. Финальный ответ будет качественно глубже, чем «конкуренты демпингуют».
Почему это работает
Слабость LLM: модель обучена на текстах, где информация уже дана в полном объёме. Она не привыкла добывать факты по одному — она привыкла интерпретировать то, что перед ней лежит. Когда ты задаёшь открытый вопрос, модель видит «достаточно для ответа» и останавливается. Это не баг конкретной версии — это системное свойство всех LLM.
Якорение работает тонко: модель не застревает на неверном диагнозе — она застревает на уровне детализации первого ответа. Она пишет «проблема в маркетинге» и дальше уточняет маркетинг, вместо того чтобы пересмотреть саму рамку. Правдоподобная первая гипотеза блокирует поиск альтернатив.
Как техники это обходят: принудительный сбор информации буквально запрещает преждевременное закрытие. Дьявольский адвокат имитирует то, что LLM не делает сам — атакует первый вывод. Вопрос «что изменило бы твой ответ?» форсирует модель выйти из режима подтверждения и начать искать опровержения.
Рычаги управления:
- Число вопросов {N} — увеличь до 12–15 для сложных задач, урежь до 3–4 для быстрых проверок
- Количество раундов — можно добавить «второй раунд»: после первичного диагноза дать новые данные и попросить обновить вывод
- Роль скептика → замени на конкретного персонажа: "Возьми роль Германа Грефа и найди слабые места" — острее критика
- Условие перехода — вместо фиксированного числа вопросов: "Задавай вопросы, пока не уверен на 80%"
Шаблон промпта
Версия 1: Принудительный сбор + дьявольский адвокат
Ты — эксперт по {предметная_область}.
ПРАВИЛО СБОРА: Не давай итогового ответа, пока не задашь мне
минимум {число_вопросов} уточняющих вопросов — по одному за раз.
Каждый следующий вопрос должен учитывать мои предыдущие ответы.
ПРАВИЛО ВЫВОДА: После {число_вопросов} вопросов:
1. Дай предварительный вывод
2. Назови 2–3 факта, которые ты ещё не запросил и которые могут
изменить вывод
3. Атакуй свой вывод: где он может быть неверным или неполным?
4. Скорректируй и дай финальный ответ
Задача: {описание_задачи}
Начинай с первого вопроса.
Плейсхолдеры:
- {предметная_область} — маркетинг, финансы, HR, юриспруденция, медицина
- {число_вопросов} — 5 для простых задач, 8–12 для сложных
- {описание_задачи} — ситуация коротко, без подробностей (подробности отдаёшь по вопросам)
Версия 2: Разморозка якоря (быстрая)
Прежде чем дать финальный ответ:
1. Перечисли 3 альтернативные гипотезы, которые ты не рассматривал
2. Укажи, какие данные ты не запрашивал, но которые важны
3. Если бы одна из альтернатив оказалась верной — как изменился бы ответ?
Теперь дай финальный вывод.
Вставляй этот блок перед любым вопросом, где важна точность, а не скорость.
🚀 Быстрый старт — вставь в чат:
Вот шаблон для принудительного сбора информации.
Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про предметную область и сложность задачи — потому что от этого зависит нужное число вопросов и глубина атаки в роли скептика. Она возьмёт паттерн из шаблона и адаптирует под твою ситуацию.
Почему это работает (механика)
Чем длиннее контекст — тем хуже поиск. К третьему-четвёртому витку диалога история переписки занимает тысячи токенов (единиц текста). Критические данные оказываются в середине этой истории, а LLM хуже всего «достаёт» именно из середины. Модель не ленится — она буквально хуже видит данные, закопанные в середине длинного контекста.
Звучит убедительно ≠ правильно. Это, пожалуй, главный практический инсайт. В исследовании 91% рассуждений модели получили высокую оценку качества — но средняя точность ответов была лишь 56%. Красивая цепочка «я проанализировал X, поэтому Y, следовательно Z» не гарантирует, что Z верно. Особенно риск высок, когда модель сама себе кажется убедительной.
Дифференциальное мышление — слабейшее место. Все 32 модели показали худший результат именно в задаче «перечисли альтернативные объяснения». Средний разрыв — 23 процентных пункта хуже, чем просто назвать основной ответ. Это значит: если тебе важны варианты и альтернативы — никогда не жди, что модель сама их предложит. Заставляй явно.
Ограничения
⚠️ Эффект в сложных задачах: Разница между принудительным сбором информации и обычным вопросом максимальна на многогранных задачах — бизнес-диагностика, разборы ситуаций, медицинское мышление. На простых вопросах («посоветуй ресторан») это избыточно и замедляет.
⚠️ Звучит убедительно ≠ верно: Даже после всех техник модель может выдать красиво обоснованный неверный ответ. Особенно в экспертных доменах, где у тебя нет способа быстро проверить. Привлекательное рассуждение может повысить доверие к ошибке — это подтверждают и авторы исследования.
⚠️ Техника 2 (дьявольский адвокат) — не панацея: Без явного указания ролей модель часто «атакует» вывод поверхностно и тут же его защищает. Если хочешь настоящей критики — давай роль конкретному скептическому персонажу.
⚠️ Контекстная деградация сохраняется: Принудительный сбор информации не отменяет проблему длинного контекста. Если диалог растянулся на 20+ обменов — модель всё равно хуже достаёт ранние данные. Помогает: периодически делать саммари предыдущих раундов прямо в промпте.
Как исследовали
Команда из Технического университета Мюнхена создала OncoRounds — арену, где 32 ведущих LLM сыграли роль гематолога-онколога. Логика была простая: дать модели начальный клинический сценарий и заставить её самостоятельно запрашивать дополнительные данные — по одному вопросу за ход, три раунда подряд. Ни одного факта «в подарок» — только то, что модель догадается спросить.
Это принципиально отличается от всех предыдущих медицинских бенчмарков: там модели давали полную картину и просили поставить диагноз. Здесь информацию нужно было добывать — как в реальной клинике. 20 сложных случаев с лейкемиями и лимфомами, каждый с нарастающей сложностью от раунда к раунду.
Результаты удивили: лучшая модель (Claude Opus 4.6) набрала 68% точности — и это потолок. Но настоящая находка была в динамике: в первом раунде модели запрашивали ~57% доступных данных, во втором — столько же, а в третьем, когда ставки максимальны и нужна молекулярная точность, — только 26%. Несколько моделей задавали один-два вопроса и объявляли диагноз. При этом их рассуждения звучали профессионально и убедительно — 91% получили высокую оценку по клинической логике. Разрыв между «звучит умно» и «правильно» оказался огромным, и именно это противоречие стало центральным выводом работы.
Адаптации и экстраполяции
🔧 Staged Information Release — симуляция раундов
Если ты хочешь максимально точный анализ сложной ситуации, не вали все данные сразу. Работай раундами:
Раунд 1: Дай минимальный контекст → попроси гипотезы и вопросы Раунд 2: Отвечай только на запрошенные вопросы → попроси уточнённый вывод Раунд 3: Добавь финальные детали → попроси итоговую рекомендацию
Это имитирует то, как работают опытные консультанты: они не ждут полного брифинга — они сразу начинают задавать вопросы и итеративно уточняют картину.
🔧 Диагностика доверия к ответу
После любого важного ответа модели добавь:
Оцени свой ответ:
1. Какие данные ты не запросил, но которые важны для этого вывода?
2. При каком новом факте вывод изменился бы на противоположный?
3. Насколько ты уверен: 50%, 70%, 90%? Почему не выше?
Это быстрый способ проверить, не попал ли ты в ловушку убедительного, но ненадёжного ответа.
Ресурсы
Статья: Information-seeking failures of large language models in agentic clinical reasoning (2025)
Авторы: Krischan Braitsch, Laura K. Schmalbrock, Theresa Weltermann et al. — Технический университет Мюнхена (TUM), Charité Berlin, LMU München
Контакт: Keno K. Bressem, MD — Keno.bressem@tum.de
Смежные работы из исследования: - Ke et al. — devil's advocate агенты: с 0% до 76% точности на сложных диагнозах - Laban et al. — деградация LLM в multi-turn диалогах - Croskerry — dual-process model когнитивных ошибок клиницистов