TL;DR
Если дать модели новый факт и спросить, как изменилась вероятность гипотезы, она почти всегда сдвигает ответ в нужную сторону, но не каждый раз. Заметная часть новых фактов вообще не меняет её число. Подача факта тоже влияет. Фраза «Кто-то сказал, что…» вместо «Ты узнал ещё одну вещь:…» слегка уменьшает сдвиг и чаще даёт движение не в ту сторону. Это не аккуратный «дисконт на слух», а скорее лишний шум.
Вторая находка важнее. Если вместо одной вероятности попросить пять оценок с весами, модель перестаёт ставить «0%» и «100%». Выглядит как более честная неуверенность. Но в небольших локальных моделях такой формат заметно глушит чувствительность к доказательствам: ответ плохо реагирует на усиливающие и ослабляющие факты. В более сильных моделях этого эффекта почти нет. Формат, который убрал крайние значения, не обязан сохранять способность реагировать на новости.
Метод сводится к диагностике: берёшь пары «факт, усиливающий гипотезу» и «факт, ослабляющий её», спрашиваешь до и после в отдельных запросах и смотришь, насколько ответ двигается в нужную сторону. Так проверяют любой формат вопроса, прежде чем доверять его числам.
Схема метода
ШАГ 1: Базовая оценка (prior) → отдельный запрос, без новой информации → число
ШАГ 2: Оценка после усилителя → отдельный запрос, та же ситуация + факт «за» → число
ШАГ 3: Оценка после ослабителя → отдельный запрос, та же ситуация + факт «против» → число
ШАГ 4: Сдвиг s = среднее из (рост после усилителя) и (падение после ослабителя)
→ если s около нуля или отрицательный, формат вопроса «глухой»
Каждый шаг — отдельный чат или вызов. Если держать всё в одной переписке, модель будет подгонять новое число под прежнее.
Пример применения
Задача: Вы продакт в российском маркетплейсе и оцениваете, закроет ли конкурент свой сервис доставки за 24 часа в Новосибирске до конца года. Вы хотите использовать LLM как «второго аналитика», но сначала проверить, не глухой ли ваш формат вопроса. Вопрос про вероятность, а не про сумму в рублях, поэтому метод здесь работает.
Промпт (запрос 1, база, новый чат):
Ситуация: Конкурент запустил доставку за 24 часа в Новосибирске в марте,
курьерский парк небольшой, а логистические расходы в регионе выросли.
Используя здравый смысл, насколько вероятно, что следующее утверждение верно?
Утверждение: Конкурент закроет доставку за 24 часа в Новосибирске до конца года.
Какова вероятность того, что утверждение верно?
Не используй инструменты, отвечай сразу.
Последняя строка ответа строго в формате: Вероятность: NN%
Промпт (запрос 2, усилитель, новый чат):
Ситуация: Конкурент запустил доставку за 24 часа в Новосибирске в марте,
курьерский парк небольшой, а логистические расходы в регионе выросли.
Вот что ты ещё узнал: У конкурента сократили 30% региональных логистов.
Используя здравый смысл, насколько вероятно, что следующее утверждение верно?
Утверждение: Конкурент закроет доставку за 24 часа в Новосибирске до конца года.
Какова вероятность того, что утверждение верно?
Не используй инструменты, отвечай сразу.
Последняя строка ответа строго в формате: Вероятность: NN%
Промпт (запрос 3, ослабитель, новый чат): то же, но вместо строки с новостью: «Вот что ты ещё узнал: Конкурент объявил об инвестициях в новый склад в Новосибирске.»
Результат: Три числа в процентах. Для усилителя ждём рост относительно базы, для ослабителя падение. Если после обоих фактов число осталось тем же или сдвинулось не туда, формат плохо передаёт реакцию на доказательства. Тогда повторите на 5–10 разных ситуациях, прежде чем доверять модели как оценщику.
Почему это работает
Слабость LLM. Когда её просят назвать одну вероятность, она часто «прилипает» к краям: 0–5% или 95–100%. Если база уже 100%, усиливающему факту некуда двигать число, и вы не поймёте, повлиял ли он вообще. Кроме того, модель не всегда реагирует на новое предложение. Часть фактов не меняет её ответ ни на процент.
Сильная сторона. Модель хорошо понимает направление: «этот факт делает гипотезу вероятнее или менее вероятной». Если ситуация, факт и вопрос поданы чётко, знак изменения обычно верный.
Как метод обходит слабость. Он разделяет форму ответа и чувствительность к новости. Вы измеряете, насколько число двигается именно в нужную сторону: прирост после усилителя и падение после ослабителя берутся со знаком «в правильную сторону». Тогда уровень базы вычитается и не мешает. Так видно, что реально делает формат вопроса: «5 оценок с весами» или «Someone said».
Рычаги управления: - Тип подачи факта («ты узнал» против «кто-то сказал») → «кто-то сказал» чуть уменьшает сдвиг и добавляет шум. Если факт проверен, подавайте его как факт. - Формат ответа (одно число против пяти взвешенных) → пять оценок убирают 0% и 100%, но на слабых моделях проверьте, не пропала ли реакция на новости. - Отдельные запросы для базы и после новости → не склеивайте их в один чат, иначе число «залипает». - Число пар «усилитель / ослабитель» → больше ситуаций, надёжнее вывод про формат.
Шаблон промпта
Структура оригинала: ситуация, затем вставка с новой информацией, затем вопрос «насколько вероятно», затем жёсткий формат ответа. Новое предложение вставляется только во втором и третьем запросах.
Вариант А: прямая оценка (одно число)
Ситуация: {ситуация}
[Вот что ты ещё узнал: {факт}] ← для «поданного как факт»
[Кто-то сказал, что {факт_с_маленькой_буквы}] ← для «переданного как слух»
Используя здравый смысл, насколько вероятно, что следующее утверждение верно?
Утверждение: {гипотеза}
Какова вероятность того, что утверждение верно?
Не используй инструменты, отвечай сразу.
Последняя строка ответа строго в формате: Вероятность: NN%
Вариант Б: пять взвешенных оценок
Ситуация: {ситуация}
[Вот что ты ещё узнал: {факт}]
Используя здравый смысл, насколько вероятно, что следующее утверждение верно?
Утверждение: {гипотеза}
Дай 5 оценок вероятности того, что утверждение верно,
у каждой укажи вес, насколько вероятна именно эта оценка; сумма весов равна 1.
Не используй инструменты, отвечай сразу.
Ответ заканчивается пятью строками вида:
Оценка k: NN% | Вес: W
Итоговое число для варианта Б — взвешенное среднее пяти оценок (сумма «оценка × вес»).
Что подставлять: {ситуация} — 1–2 предложения фактуры; {факт} — одно предложение, которое явно усиливает или ослабляет гипотезу; {гипотеза} — утверждение, которое может быть верным или неверным; {факт_с_маленькой_буквы} — тот же факт, у которого первая буква строчная.
🚀 Быстрый старт — вставь в чат:
Вот шаблон теста «формат вопроса про вероятность». Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про ситуацию, гипотезу и пары «факт за» и «факт против». Это нужно, чтобы получить честную проверку формата: направление каждого факта должно быть известно заранее, иначе нечего сравнивать. Она возьмёт структуру из шаблона и соберёт набор запросов под твою задачу.
Ограничения
⚠️ Сдвиг от «кто-то сказал» маленький: разница от переформулировки в среднем 2–5 пунктов. Не стоит перестраивать весь рабочий процесс ради этого, но стоит помнить: слух модель не «взвешивает», а скорее шумит.
⚠️ Нет правильного ответа по величине: авторы размечали только направление («усиливает» или «ослабляет»), эталонных человеческих вероятностей у них нет. Нельзя сказать, что модель «недооценивает» или «переоценивает» влияние новости.
⚠️ Пять оценок с весами не универсально безопасны: в небольших локальных моделях формат ломает чувствительность к фактам. В более сильных моделях сдвиг почти не менялся, но это не гарантия для вашей модели.
⚠️ Узкая проверка: все тесты на коротких английских описаниях бытовых сцен (подписи к картинкам) и одном предложении нового факта. В сложных деловых ситуациях с кучей фактов результат может отличаться.
⚠️ Часть фактов модель игнорирует: у локальных моделей до трети предложений-обновлений не меняли число вообще, у более сильных заметно меньше. Не ждите, что каждая новость сдвинет ответ.
Как исследовали
Исследователь взял из набора δ-SNLI 240 пар «ситуация и гипотеза». К каждой подобрал по одному усиливающему и одному ослабляющему предложению. Пары не повторяли картинки, так что результаты не зависели от одного сюжета. Ту же ситуацию модель оценивала в отдельных запросах: без новости, с фактом «ты узнал», с фактом «кто-то сказал», и каждый раз в двух форматах (одно число или пять взвешенных оценок). Мера простая: насколько вырос ответ после усилителя и упал после ослабителя, причём стартовая оценка вычитается и не мешает.
Проверили семь конфигураций: две небольшие локальные модели (Qwen3-8B и OLMo-2-7B, по 240 пар) и пять конфигураций, запущенных через командные интерфейсы агентов (120 пар). Анализ и гипотезы зафиксировали до основных прогонов (без публичной регистрации).
Что удивило. Во-первых, «кто-то сказал» в точечных оценках уменьшало сдвиг во всех семи конфигурациях, но не как «осторожный дисконт», а ещё и с ростом доли движений в обратную сторону. Во-вторых, пять оценок резко убирали крайние значения (например, с 30–42% до 4–14% ответов у краёв), но в локальных моделях съедали 43% и 68% чувствительности. Вывод для практики: «меньше крайностей» и «сохранил реакцию на доказательства» — разные свойства, и проверять их надо отдельно.
Адаптации и экстраполяции
🔧 Техника: проверка своего системного промпта-оценщика → тест на «глухоту».
Если у вас в кастомном GPT или агенте есть блок «оцени вероятность / риск / приоритет», прогоните его на 5 ситуациях по схеме выше (база, усилитель, ослабитель). Если число стабильно не меняется после явных фактов «за» и «против», формат вывода в инструкции мешает реакции на данные. Тогда упростите формат ответа или уберите «пять оценок с весами».