TL;DR
Если модель правильно решила сложную задачу, это не значит, что она разобралась в теме. Исследователи проверили: решает ли LLM верно более простые "базовые" вопросы, которые логически должны быть освоены раньше сложного — и обнаружили, что модели часто дают верный ответ на сложное, но ошибаются на простом предпосылочном вопросе той же темы. Люди почти никогда так не делают.
У людей, если они правильно решили сложную задачу, они почти всегда (72,7% случаев) правильно решают и все более простые задачи-предпосылки — знание выстроено как лестница. У лучших LLM этот показатель — около 48%, то есть модель может верно посчитать что-то сложное, а на элементарном "кубике" ошибиться. Причина: модель отвечает по сходству с виденными примерами (паттерн-мэтчинг), а не выстраивает цепочку "сначала это, потом то". Дополнительно: если подкинуть модели в контекст пример на нужную базовую тему (по сути, подсказку-скаффолдинг), человеку это сильно помогает решить зависимый вопрос, а LLM — почти не помогает.
Метод простой: не верь одному правильному ответу. Разбей тему на пары "простой вопрос-предпосылка → сложный зависимый вопрос" и задай модели оба по отдельности. Если сложный ответ верный, а простой — нет, это сигнал, что ответ ненадёжный, построен на угадывании, а не на понимании, и его нужно перепроверять руками.
Схема метода
ШАГ 1: Возьми тему → выдели в ней базовое понятие (предпосылку) и понятие, которое на нём строится
ШАГ 2: Задай модели отдельно вопрос на базовое понятие → получи ответ А
ШАГ 3: Задай модели отдельно вопрос на "продвинутое" понятие → получи ответ Б
ШАГ 4: Сравни: если Б верный, а А неверный → сигнал ненадёжного ответа, паттерн-мэтчинг вместо понимания
Все шаги можно выполнить в одном диалоге, отдельными сообщениями, без API.
Пример применения
Задача: Вы делаете финмодель для стартапа и просите LLM посчитать LTV/CAC с учётом churn (сложная метрика). Ответ выглядит убедительно, с формулами — но как понять, доверять ли ему?
Промпт:
Вопрос 1 (проверка базы): Что такое CAC (стоимость привлечения клиента) и как его считают?
Приведи формулу и посчитай на примере: маркетинг-бюджет 500 000 руб., привлечено 250 клиентов.
[в отдельном сообщении, не показывая связь с предыдущим]
Вопрос 2 (целевой): У стартапа CAC = 2000 руб., средний доход с клиента в месяц — 300 руб.,
средний срок жизни клиента — 10 месяцев, churn — 8% в месяц.
Посчитай LTV/CAC с учётом churn и сделай вывод, окупается ли клиент.
Результат: Модель даст ответ на оба вопроса. Если ответ на сложный вопрос (LTV/CAC) выглядит верным, а в простом расчёте CAC модель ошиблась в арифметике или в логике формулы — это сигнал: не доверяй итоговому выводу без перепроверки вручную, даже если он звучит уверенно.
Почему это работает
LLM генерирует ответ по сходству с текстами, которые видела при обучении, а не выстраивает цепочку рассуждений "от простого к сложному", как человек. Поэтому она может выдать правильный сложный ответ через память похожих примеров, полностью проскочив базовое понятие.
Сильная сторона модели — она честно и без сопротивления отвечает на любой явно заданный вопрос, включая элементарный. Это позволяет разложить проверку на звенья: задать базовый вопрос отдельно, не давая модели "подсказку", что он связан со сложным.
Рычаг управления: чем дальше друг от друга по сложности базовый и целевой вопрос — тем нагляднее провал, если он есть. Если хотите более тонкую диагностику — берите вопрос-предпосылку максимально близкий к целевому (одна ступенька), а не далёкий фундамент.
Шаблон промпта
Я хочу проверить, насколько надёжен твой ответ на вопрос по теме {тема}.
Сначала ответь на базовый вопрос:
{простой_вопрос_на_предпосылку}
[Дождись ответа, затем в новом сообщении, не напоминая о связи]
Теперь ответь на этот вопрос:
{сложный_целевой_вопрос}
Подставь в {тема} свою область (финансы, право, код, маркетинг), в {простой_вопрос_на_предпосылку} — то, что логически должно быть освоено раньше, в {сложный_целевой_вопрос} — то, ради чего вы задаёте вопрос.
🚀 Быстрый старт — вставь в чат:
Помоги мне построить проверку по методу "предпосылок": я хочу проверить, действительно ли ты
разбираешься в теме {моя_тема}, а не угадываешь ответ. Разбей тему на базовое понятие и
понятие, которое на нём строится, и задай мне оба вопроса поочерёдно, чтобы я мог сравнить.
[вставить шаблон выше]
LLM спросит про вашу тему и уровень сложности — это нужно, чтобы правильно выбрать "базовый" и "продвинутый" вопрос внутри вашей области, а не в математике, где проверялся оригинальный метод.
Ограничения
⚠️ Нужна ручная разметка иерархии: в исследовании зависимости между понятиями брали из официального стандарта математики США. В своей теме вам придётся самому решить, что "предпосылка" для чего — метод не даёт этого готового.
⚠️ Только диагностика, не исправление: метод покажет, что ответу нельзя доверять, но не скажет, где именно ошибка и как её исправить.
⚠️ Лучше работает в строгих областях: метод проверен на математике, где иерархия понятий чёткая. В расплывчатых темах (маркетинговая стратегия, креатив, оценка текста) понятие "предпосылки" размыто, и метод даст менее ясный сигнал.
⚠️ Подсказки с контекстом не гарантируют улучшение: если вы дали модели релевантный пример в контекст, надеясь, что она лучше решит связанный вопрос — не факт, что поможет. У людей это работает надёжно, у LLM — почти не работает.
Как исследовали
Исследователи взяли данные 18 тысяч реальных школьников, решавших 4118 математических задач, с настоящими правильными/неправильными ответами. Каждый вопрос привязали к понятиям из официального стандарта математики США (480 понятий с прописанными зависимостями "что нужно знать раньше"). Затем на тех же вопросах прогнали 8 моделей — от Claude и GPT-4.1 до открытых Llama и Qwen.
Дальше посчитали простую метрику: если модель решила вопрос верно, решила ли она верно и все вопросы-предпосылки к нему. У людей — 72,7% случаев "да". У лучшей модели — 48%. Причём модели, которые по общей точности превосходили людей, по этому показателю сильно проигрывали. Это и есть главный сюрприз: высокая точность не гарантирует прочного знания — метрика точности "не видит" эту дыру.
Дополнительно проверили: если моделям дать в контекст релевантные примеры-подсказки (как учитель подсказывает базу перед сложной задачей) — у людей это резко повышает результат, у LLM — почти не влияет. И наконец, сравнили модели друг с другом: у них низкое совпадение в том, какие вопросы они решают, а какие нет — то есть у каждой модели свой хаотичный набор "дыр", а не общая логичная структура знаний, как у людей.