TL;DR
Исследование показывает, что долгое «размышление» модели меняет то, как она понимает обычные слова. Когда человек говорит «некоторые студенты сдали», мы понимаем, что не все. Логически «некоторые» остаётся верным и при «все сдали», но люди читают его иначе. Модели с включённым рассуждением (thinking, reasoning effort) в большинстве случаев отбрасывают это «не все» и читают слово как формальную логику. То же происходит с «или»: вместо «одно из двух, но не оба» модель понимает «хоть одно, возможно оба».
Боль в том, что вы просите модель понять, что имел в виду автор письма, отзыва или договора, и включаете режим «думай глубже». Модель сначала видит человеческий смысл, потом «проверяет строго» и сама его вычёркивает. В ответе остаётся педантичная буква. Тест на таких фразах показал: при глубоком рассуждении модель выбирает «человеческое» прочтение у «некоторых» и «или» заметно реже, у части моделей падение на десятки процентных пунктов. Зато на выводах из контекста (уклончивые ответы, образные выражения, скрытые допущения) рассуждение, наоборот, помогает.
Метод исследователей — простой замер: одна и та же модель, одни и те же фразы, меняется только «доза» размышления (выключено, коротко, полностью). Дополнительно они обрывали рассуждение на разных этапах и принудительно просили ответ, чтобы увидеть, где смысл меняется. Для вас отсюда следует практическое правило: смысл фразы с «некоторые» или «или» проверяйте в нескольких режимах рассуждения и не считайте «думающий» режим автоматически более точным.
Схема метода
ШАГ 1: Берёте фразу с «некоторые/или» + вопрос «что имел в виду автор?» → отдельный запрос
ШАГ 2: Гоните её в 3 режимах: без рассуждения / короткое / полное → 3 ответа
ШАГ 3: Сравниваете: сместилось ли прочтение от «не все» к «может быть и все» → решение, какой режим брать для таких задач
Исследователи ещё обрывали рассуждение на 0, 32, 128… 2048 токенах и просили ответ. Это требует доступа к API или к открытой модели, в обычном чате так не сделать.
Пример применения
Задача: Вы продавец на Ozon. Поставщик из Китая пишет: «Часть партии придёт в пятницу». Вы разбираете десятки таких писем с помощью модели и хотите, чтобы она понимала, что имел в виду автор. Здесь это значит: «в пятницу придёт не вся партия».
Промпт:
Поставщик написал: «Часть партии придёт в пятницу».
Вопрос: можно ли заключить, что поставщик считает, что НЕ ВСЯ партия придёт в пятницу?
Варианты:
- Да
- Нет
Ответь одной строкой в формате «Ответ: <вариант>».
Прогоните этот запрос трижды: в режиме без рассуждения (быстрый режим или модель без thinking), с низким уровнем рассуждения (low effort) и с высоким (high effort). Затем повторите на 10–20 своих типичных письмах.
Результат: Вы получите три набора коротких ответов «Да/Нет». У части моделей в режиме с долгим рассуждением доля «Нет» вырастет: модель решит, что «часть» формально включает «всю партию». Если у вашей модели так, для разбора таких писем берите быстрый или низкий режим либо добавляйте человеческую проверку. Если картина обратная (так у Claude Sonnet 4.6 в таблице), значит, ваша модель ведёт себя иначе, и это тоже полезно знать.
Почему это работает
Слабость. Рассуждение натаскано на математику и код, где нужна строгая проверка условий. Модель включает этот режим и на обычной речи. Слово «некоторые» она проверяет как формулу «существует хотя бы один», видит, что при «все» оно тоже истинно, и вычёркивает «не все».
Сильная сторона. Та же строгая проверка помогает там, где нужен вывод из контекста. Модели лучше понимают образную речь, уклончивые ответы («Вы хотите кофе?» — «Я бы не уснул») и скрытые допущения. В исследовании на этих задачах рассуждение дало прирост примерно на 10–20 п.п.
Как это использовать. Смотрите, какой тип понимания вам нужен. Для «буквы» (договор, условие, формальная проверка) рассуждение уместно. Для «живого» смысла слов-количеств («часть», «некоторые», «или») оно может навредить. Для интерпретации по контексту рассуждение помогает.
Рычаги управления: - Режим рассуждения (выкл. / low / high) → меняет, какое прочтение победит. У GPT-5 и многих открытых моделей больше рассуждения даёт более буквальное прочтение. - Короткий бюджет размышления → в исследовании после ~128 токенов человеческое прочтение даже усиливалось (+37 п.п. у Qwen3-8B), и лишь после ~512 токенов оно падало ниже уровня «без размышления». Короткое рассуждение безопаснее длинного. - Формулировка вопроса → «что имел в виду автор» и «верно ли формально» дают разные ответы. Явно называйте, какое прочтение вам нужно.
Шаблон промпта
Это замер для вашей модели, он повторяет схему исследования.
Фраза: «{фраза_с_некоторые_или}»
Вопрос: можно ли заключить, что говорящий считает, что {подразумеваемое_не_все_или_не_оба}?
Варианты:
- Да
- Нет
Ответь одной строкой в формате «Ответ: <вариант>».
Подставляйте:
- {фраза_с_некоторые_или} — реальные фразы из ваших писем, отзывов, отчётов. Чем больше разных, тем надёжнее вывод. Нужно хотя бы 10–20 штук.
- {подразумеваемое_не_все_или_не_оба} — человеческое прочтение. Для «часть клиентов довольна» — «не все клиенты довольны». Для «оплата картой или наличными» — «нельзя и тем и другим одновременно».
Порядок «Да/Нет» меняйте от запроса к запросу: так вы отсечёте «склонность отвечать „да“».
Ограничения
⚠️ Эффект зависит от модели: почти во всех открытых моделях сдвиг к буквальному есть, но у части он обратный. DeepSeek V4 с включённым рассуждением читает «некоторые» более человечески, а Claude Sonnet 4.6 в таблице показывает рост по «некоторым» и «или» с включённым рассуждением. Не переносите вывод на свою модель без проверки.
⚠️ Устойчив эффект только для «некоторые» и «или»: для модальных слов («может», «должен») результат разный от модели к модели, для шкал вроде «хороший / отличный» рассуждение, наоборот, слегка усиливает человеческое прочтение у больших моделей.
⚠️ Основное средство исправления не доступно в чате: метод «брать ответ из первых ~128 токенов рассуждения» требует доступа к ходу рассуждения через API или открытую модель. Авторы называют его исследовательским, не предварительно зарегистрированным. Он вернул человеческое прочтение лишь на небольшой доле тестовых фраз, а общий прирост составил около 1,4 п.п.
⚠️ Готового промпта-исправления в статье нет: «инструкция с учётом задачи» подняла общий балл сильнее, но почти не помогла именно на фразах с «некоторые/или». Текст инструкции в доступной части статьи не приведён.
⚠️ Тесты в основном на английском: немецкие и китайские срезы получены машинным переводом, русского нет.
Как исследовали
Идея была простой: у моделей с рассуждением можно крутить одну «ручку», то есть сколько они думают, не меняя ничего другого. Команда взяла 40 открытых моделей и 7 закрытых, в первую очередь семейство Qwen3 от 0,6B до 32B, где режим размышления включается переключателем. Дали им предложения вроде «Some boys play» и спросили, можно ли заключить, что говорящий считает «не все играют». Сравнивали три режима: размышление выключено, ограничено бюджетом токенов и естественное. Чтобы отделить логику от привычки отвечать «да», варианты ответов тасовали, а часть проверок сделали без ответов «да/нет».
Результат: у 30 из 40 открытых моделей размышление снижало человеческое прочтение «некоторых» или «или». У Qwen3-8B на 28 п.п. для «некоторых» и на 36 п.п. для «или», у Qwen3-32B ещё сильнее. В то же время на образной речи, уклончивых ответах и скрытых допущениях точность росла на 10–20 п.п.
Второй инструмент: рассуждение обрывали на 32, 128, 512, 2048 токенах и просили ответ. Оказалось, что модель сначала поддерживает человеческое прочтение и лишь потом его вычёркивает. У Qwen3-8B доля «человеческих» ответов после 128 токенов выросла с 36% до 52%, а к концу упала до 1%. Это и дало название «рассмотрели, потом отменили».
Удивило, что обучение рассуждению само сдвигает привычное прочтение. В OLMo-3 «человеческое» прочтение «некоторых» упало с 76% до 40% после дообучения на следах рассуждений, а чистое обучение с подкреплением на математике его не меняло. А в одной из дистилляций (R1-Distill-Qwen-7B) оно было выше, чем в базовой. Практический вывод для вас: «лучше на бенчмарках» не гарантирует «лучше понимает людей», и интерпретацию надо проверять отдельно.
Адаптации и экстраполяции
🔧 Техника: назвать нужное прочтение прямо в вопросе → меньше шансов на буквальный ответ
Вместо «Верно ли, что…» спрашивайте «Как бы это поняли люди в разговоре? Что автор хотел сообщить?». Это моя экстраполяция по логике статьи, в исследовании не проверялась. Проверьте на своём наборе фраз тем же замером.
🔧 Техника: два прохода, потом сравнение
Прочитай фразу: «{фраза}». 1. Дай буквальное (формально-логическое) прочтение. 2. Дай разговорное прочтение: что автор, скорее всего, хотел сообщить. 3. Если они расходятся, перечисли, что поменяется для моего решения: {решение}.Это тоже экстраполяция. Она превращает скрытый выбор модели в видимый, и расхождение сразу бросается в глаза.
Ресурсы
- Название работы: Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally
- Код и данные: https://github.com/kouzhizhuo/entertain-then-cancel
- Авторы: Zhizhuo Kou, Jian Yang, Pengfei Hao, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo
- Университеты: Hong Kong University of Science and Technology (в том числе Guangzhou), Peking University
- Используемые наборы: IMPPRES, LUDWIG, Fig-QA, PUB, Circa, NOPE