TL;DR
Reasoning-модели (GPT-5, Claude с thinking, DeepSeek R1) стабильнее работают в задачах на Theory of Mind — понимание намерений, убеждений и желаний персонажей. Исследователи из Лейденского университета проверили как модели справляются с психологическими тестами (ложные убеждения, сарказм, обман) и обнаружили: модели с явным рассуждением выдают правильный ответ чаще при разных формулировках промпта и усложнениях задачи.
Обычные модели проваливают ToM-задачи при малейших изменениях формулировки: переставь имена, добавь деталь — модель ломается. Reasoning-модели устойчивее к таким вариациям. Но это не значит, что они "научились понимать людей по-новому" — они просто надёжнее находят решение среди паттернов, которые уже знает базовая модель. Как студент, который не угадывает ответ наобум, а методично перебирает шаги — шанс ошибиться ниже.
Reasoning работает как страховка: пошаговое рассуждение помогает не свернуть на ложный паттерн. Модель явно проговаривает "Маша думает X, но на самом деле Y" — и это снижает риск слияния знаний персонажей. Для задач где нужно отследить "кто что знает" — включай thinking режим (Claude) или используй GPT-5.
Схема подхода
Это не метод промптинга, а исследование свойств моделей. Но из него вытекает простой принцип:
ЗАДАЧА с несколькими персонажами + "кто что знает/думает/хочет"
↓
Используй REASONING режим (Claude thinking / GPT-5)
↓
РЕЗУЛЬТАТ: стабильнее работает при разных формулировках
Почему это работает: - Reasoning заставляет модель явно разделять знания персонажей - Снижает риск "слияния" (когда модель приписывает одному персонажу знания другого) - Робастность через методичный перебор шагов
Пример применения
Задача: Ты пишешь сценарий для рекламного ролика. Два персонажа — продавец и покупатель. Продавец знает, что товар бракованный, но скрывает. Покупатель думает, что всё ОК. Нужно проверить, правильно ли модель понимает намерения и убеждения каждого персонажа.
Промпт:
Продавец Игорь знает, что наушники бракованные — левый динамик хрипит.
Покупательница Света этого не знает. Игорь говорит: "Отличные наушники, проверенные!"
Вопрос 1: Наушники действительно хорошие?
Вопрос 2: Света думает, что наушники хорошие?
Вопрос 3: Почему Игорь так сказал?
Результат:
Модель с reasoning явно разделит: "Факт: наушники бракованные. Убеждение Светы: наушники хорошие (она не знает о браке). Намерение Игоря: продать товар, поэтому скрывает информацию."
Обычная модель может смешать знания персонажей или не уловить обман. Reasoning-модель стабильнее даст правильный ответ, даже если переформулировать задачу.
Почему это работает
Слабость LLM: Модели легко "сливают" знания персонажей в одну кучу. Если в тексте написано "X знает A, Y не знает A", модель может забыть кто что знает и ответить как будто оба знают. Особенно при вариациях промпта — измени порядок предложений, добавь лишнюю деталь, и модель ломается.
Сильная сторона reasoning: Явное пошаговое рассуждение заставляет модель проговорить ментальные состояния каждого персонажа отдельно. "Маша видела X" → "Петя не видел X" → "Значит Петя думает Y". Это как счётчик в голове — модель держит несколько переменных (убеждения каждого персонажа) и не даёт им смешаться.
Почему стабильнее: Reasoning работает не как магия, а как методичный перебор шагов. Вместо "угадать паттерн в лоб", модель идёт по алгоритму. Если есть несколько похожих паттернов в данных (правильный и ложный), reasoning снижает шанс свернуть на ложный. Но: если базовая модель вообще не знает как решить задачу — reasoning не поможет. Он только эффективнее ищет среди того что уже знает.
Шаблон промпта
Универсальный шаблон для задач на понимание намерений:
{описание_ситуации_с_персонажами}
Персонаж A знает: {что_знает_A}
Персонаж B знает: {что_знает_B}
Персонаж A думает: {что_думает_A}
Вопрос 1: {фактический_вопрос_о_реальности}
Вопрос 2: {что_думает_персонаж_B}
Вопрос 3: Почему {персонаж_A} {совершил_действие}?
Что подставлять:
- {описание_ситуации} — короткая история с несколькими персонажами
- {что_знает_X} — явно укажи кто какую информацию имеет
- {фактический_вопрос} — вопрос о реальном положении дел
- {что_думает_персонаж} — вопрос об убеждениях персонажа
Важно: Используй в reasoning режиме (Claude с включённым thinking или GPT-5). В обычном режиме стабильность ниже.
Ограничения
⚠️ Не даёт новых способностей: Reasoning помогает стабильнее находить решение, но не учит модель решать принципиально новые задачи. Если базовая модель не справляется с задачей вообще — reasoning не спасёт.
⚠️ Reasoning не всегда честный: Модели не всегда включают реальные рассуждения в think tokens. Иногда ответ находят одним способом, а объяснение генерируют другое, "красивое".
⚠️ Работает только для задач с верифицируемым ответом: Reasoning-модели обучены через reinforcement learning с проверяемыми наградами. Для субъективных оценок (креатив, стиль, эмоции) эффект слабее.
Как исследовали
Команда взяла четыре reasoning-модели (GPT-5, Claude с thinking, DeepSeek R1, Grok-3-mini) и прогнала через классические психологические тесты на Theory of Mind — те же самые, что дают детям 4-10 лет.
Тест Sally-Anne (ложные убеждения): Салли кладёт шарик в корзину и уходит. Анна перекладывает шарик в коробку. Вопрос: где Салли будет искать шарик? Дети до 4 лет отвечают "в коробке" (сливают знания). После 4 лет — "в корзине" (понимают, что Салли не видела перекладывание).
Strange Stories (сарказм, обман, шутки): персонаж говорит одно, а думает другое. Модель должна объяснить почему он так сказал.
Imposing Memory (многоуровневые убеждения): "Петя думает, что Маша хочет чтобы Вася попросил X". Рекурсивные ментальные состояния.
Модификации простых задач: переставили имена, добавили детали — проверяли робастность к изменениям промпта (по мотивам работы, где GPT-3 проваливал тесты при малейших правках).
Главная находка: Reasoning-модели справились почти со всем (Sally-Anne 100%, Strange Stories 80-90%). Обычные модели проваливались при вариациях промпта. Но это не значит что reasoning дал новое понимание — скорее, он просто устойчивее выудил правильный паттерн из данных.
Дополнительно проанализировали бенчмарки ToM (FANToM, BigToM, MMToM-QA) — везде reasoning показал прирост 5-15%, но не качественный скачок. Как будто модель научилась не ошибаться по невнимательности, а не научилась думать по-новому.
Любопытная деталь: Grok-3-mini один раз слил знания персонажей даже с reasoning — забыл что один персонаж не видел событие. Показывает, что reasoning — не панацея, а вероятностное улучшение.
Ресурсы
Reasoning Promotes Robustness in Theory of Mind Tasks
Ian B. de Haan, Peter van der Putten, Max van Duijn
LIACS, Leiden University (Лейденский университет, Нидерланды)
Код и данные экспериментов на GitHub
Упоминаются бенчмарки: FANToM, BigToM, MMToM-QA, ParaphrasedToMi
Опирается на концепцию Chain-of-Thought [Wei et al., 2022], RLVR (Reinforcement Learning with Verifiable Rewards)