3,583 papers
arXiv:2610.29294 88 21 окт. 2026 г. FREE

Явная подача обеих вероятностей: как убрать зависимость совета LLM от формулировки «шанс успеха» или «шанс провала»

КЛЮЧЕВАЯ СУТЬ
Скажи модели «80% что получится» или «20% что не получится». Расклад один, а совет разный: в трети случаев категория ответа меняется. Метод явной подачи обеих вероятностей позволяет получать от LLM стабильный совет в рискованных решениях, как бы ты ни сформулировал шанс. Пиши в промпте оба числа сразу: 40% успех, 60% неуспех. Модель перестаёт цепляться за слова вроде «шанс не…» и «риск». Смена совета падает с 34% до 7%, а это уровень обычного шума между запусками.
Адаптировать под запрос
⚡

TL;DR

Явная подача обеих вероятностей — это приём: вместо «60% шанс успеха» или «40% шанс провала» вы пишете в промпте оба числа сразу: «60% шанс успеха, 40% шанс неуспеха». Модель получает вероятность в одном виде и не цепляется за то, какой исход вы назвали первым. В исследовании в таком виде совет почти перестал зависеть от формулировки.

Боль в том, что одна и та же вероятность, сказанная с разных сторон, даёт разные советы. Скажете «80% что получится» — модель уверенно рекомендует. Скажете «20% что не получится» — тот же расклад, а ответ осторожнее и с большей оценкой риска. В трети случаев категория совета меняется. При этом почти всегда не «да» превращается в «нет», а «да» или «нет» превращается в «не уверен». Прямых разворотов меньше 1%, и поэтому проблему легко не заметить: ответ выглядит нормально. Причина в том, что модель реагирует на слова в тексте («шанс не…», «риск»), а не пересчитывает число в голове.

Метод простой: один шаг, один промпт. Добавьте второе число. Вторая техника, где модель просят самой найти дополняющие вероятности и опираться на них, помогает слабее: смена совета снижается с 34% только до 23%. Явная подача обеих чисел снижает её до 7%, а это уровень обычного шума при повторных запусках.

🔬

Схема метода

БЫЛО:    «Шанс успеха 40%. Стоит ли запускать?»
         или «Шанс провала 60%. Стоит ли запускать?»
         → ответ зависит от того, какой вариант вы написали

СТАЛО:   ШАГ 1: Возьми вероятность исхода → запиши обе стороны
         ШАГ 2: Подай в промпте оба числа в одном виде
                «40% шанс успеха / 60% шанс неуспеха»
         ШАГ 3: Задай вопрос про решение
         (всё в одном промпте)
🚀

Пример применения

Задача: Основатель D2C-бренда косметики хочет запустить новую линейку на Wildberries. Закупка стоит 2,4 млн ₽. По его оценке, шанс выйти в плюс за 3 месяца — 40%. Он просит ИИ-помощника посоветовать, запускать или нет.

Промпт (как делать не надо):

Мы хотим закупить партию новой линейки на 2,4 млн ₽ и вывести её на Wildberries. 
Вероятность, что не окупимся за 3 месяца, — 60%. Стоит ли запускать?

При такой подаче модель чаще уйдёт в осторожное «не уверен» или в «нет» и оценит риск выше. Если спросить «40% что окупимся», совет может стать мягче.

Промпт (как делать надо):

Мы хотим закупить партию новой линейки на 2,4 млн ₽ и вывести её на Wildberries.

Вероятности исходов за 3 месяца:
- 40% — выйдем в плюс (окупимся и заработаем)
- 60% — не выйдем в плюс (окупимся частично или уйдём в минус)

Сумма: 100%. Это одна и та же оценка, просто описанная с двух сторон.

Если не окупимся, потеряем до 1,1 млн ₽ из свободных средств. 
Если окупимся, получим около 1,8 млн ₽ прибыли.

Дай рекомендацию: запускать / не запускать / нужно больше данных. 
Объясни, на что в числах ты опираешься.

Результат: Модель даст рекомендацию из трёх вариантов и объяснение на основе обоих чисел и сумм выигрыша и потери. Ответ не должен меняться, если вы перепишете вводные «с другой стороны». Для надёжности можно прогнать промпт дважды, поменяв порядок строк: совет должен совпасть.

🧠

Почему это работает

Слабость. Модель читает слова, а не числа. Фраза «40% шанс не получить» звучит как предупреждение, «60% шанс получить» — как обещание. Для человека это одно и то же, для модели это разные сигналы. Модель копирует поведение людей: эффект рамки (gain-loss framing) известен у людей с 1981 года. Больше всего он влияет на оценку риска и на то, решится ли модель дать категоричный совет.

Сильная сторона. Если в тексте стоят оба числа рядом, модель видит, что это одно распределение. Ей не нужно самой делать вычитание из 100%, а этот шаг как раз и ломается, когда число подано «со стороны потерь».

Рычаги управления: - Оба числа в одном формате (оба в процентах, оба в одном порядке) → убирает перекос. Не пишите «60%» и «каждый второй». - Строка «Это одна и та же оценка» → закрепляет, что два числа не два сценария. Это моя добавка, авторы её не тестировали. - Явные суммы выигрыша и потери → переносят фокус с эмоциональных слов на числа. - Тип ответа «запускать / не запускать / нужно больше данных» → так вы сразу видите, не ушла ли модель в «не уверен» из-за рамки.

📋

Шаблон промпта

{описание ситуации и решения}

Вероятности исходов:
- {p}% — {положительный исход}
- {100-p}% — {отрицательный исход, дополняющий первый}

Сумма: 100%. Это одна и та же оценка, описанная с двух сторон.

Последствия:
- Если {положительный исход}: {что произойдёт}
- Если {отрицательный исход}: {что произойдёт}

Дай рекомендацию: {варианты ответа}. Объясни, на какие числа ты опираешься.

Что подставлять: - {p} и {100-p} — всегда обе вероятности, в сумме 100%. - Исходы формулируйте как зеркальные пары: «окупимся / не окупимся», «вылечат / не вылечат». - {варианты ответа} — дайте модели законный третий вариант («нужно больше данных»). Именно в него она уходит при смене рамки, и так это заметно.

Вариант 2 (слабее): инструкция «найди дополняющую вероятность». Работает хуже, но годится, когда вы не контролируете вход (например, вам присылают текст клиента). Дословный текст из статьи в доступной части не приведён, формулировка ниже собрана по описанию метода:

Прежде чем рекомендовать, выпиши все вероятности из описания и найди их 
дополнения до 100%. Опирайся на структуру вероятностей, а не на то, 
в каких словах они сформулированы. Затем дай рекомендацию.
⚠️

Ограничения

⚠️ Борьба с шумом, а не с ошибкой: метод делает совет стабильным, но не правильным. Если модель советует плохо, она будет плохо советовать одинаково при любой рамке.

⚠️ Слабая замена: «инструкция найти дополнение»: она снижает смену совета примерно на треть, но не убирает. Если можете переписать вход сами, давайте оба числа.

⚠️ Остаточный шум: около 7% совпадений всё равно «плавают» между запусками. Это обычная вариативность модели, метод её не убирает.

⚠️ Малая проверка метода: сам приём проверили на трёх моделях и 32 сценариях. Сама проблема зависимости от рамки найдена на семи моделях, но проверка исправления была меньше.

⚠️ Только бинарные исходы: «успех / неуспех». Для сложных распределений (несколько исходов, диапазоны) эффект не проверяли.

⚠️ Условия эксперимента: температура 0, строгий JSON-ответ и синтетические сценарии, сгенерированные GPT-5 и отобранные вручную. В живом чате результат может отличаться, хотя на разговорных перефразах эффект остался.

⚠️ Слабые модели страдают сильнее: у небольших моделей (например, GPT-4o-mini) категория совета меняется больше чем в половине случаев. У моделей уровня Claude Sonnet 4.6 или Gemini 3 Flash эффект меньше, но не нулевой.

🔍

Как исследовали

Идея была простой: взять решение, где вероятность зафиксирована, и менять только то, какой стороной её называют. Авторы собрали 240 сценариев в четырёх областях: здоровье, финансы, образование и карьера, права потребителя. Каждый сценарий написали при вероятностях 20, 40, 60 и 80% и в трёх рамках: нейтральной, «шанс успеха» и «шанс неуспеха». Получилось 2 880 промптов. Два человека проверяли, что «успех» и «неуспех» описывают ровно одно и то же решение без скрытых эмоциональных слов.

Семь моделей (GPT-4o-mini, GPT-4.1-mini, GPT-5, Claude Sonnet 4.6, Gemini 2.5 Pro, Gemini 3 Flash, Qwen3-VL) отвечали в JSON: рекомендация (да/нет/не уверен), оценки риска, «подталкивания к действию» и уверенности по шкале 1–5. Результат: категория совета менялась в 32,4% случаев. 98,1% этих смен включали «не уверен», а прямой разворот «да ↔ нет» случался в 0,63%. Самый частый переход — «не уверен» при подаче «шанс успеха» → «нет» при подаче «шанс неуспеха» (1 301 случай). Оценка риска при формулировке «шанс неуспеха» в среднем выше. Эффект был у всех семи моделей: у GPT-4o-mini смена в 63% случаев, у Qwen3-VL — в 22%. Чем ниже вероятность успеха, тем сильнее перекос: при 20% сдвиг риска 0,535, при 80% — 0,109.

Трое людей независимо оценили 140 пар ответов вслепую и подтвердили, что риск и директивность действительно воспринимаются по-разному. Затем авторы проверили, не артефакт ли это шаблонов: переписали сценарии в разговорную речь (3 модели, 32 сценария, по 3 повтора). Эффект остался на том же уровне (36,8% → 34,2%). Главный контраст: повторные запуски одной и той же формулировки расходятся в 7% случаев, а между рамками — в 34%. То есть это не обычный шум.

Наконец проверили два исправления. Явная подача обеих вероятностей снизила смену совета с 34,2% до 6,7% и почти убрала сдвиг риска (с 0,363 до −0,010). Инструкция «найди дополнение сам» дала только 22,8%. Практический вывод: легче исправить вход, чем просить модель сама себя поправить.

💡

Адаптации и экстраполяции

Это мои идеи по мотивам статьи, авторы их не проверяли.

🔧 Техника: двойной прогон рамки → самопроверка совета

Задайте один вопрос дважды, в зеркальных рамках, в двух отдельных чатах: «шанс успеха 40%» и «шанс неуспеха 60%». Если категория совета разошлась, не доверяйте ни одному ответу. Дайте модели оба числа сразу и спросите заново.

🔧 Техника: нормализация входа в системном промпте → в инструкции для помощника, который получает вероятности от пользователей (поддержка, продажи, внутренний аналитик), добавьте:

Если пользователь называет вероятность только с одной стороны, 
перед ответом перепиши её в обе стороны («X% да / (100−X)% нет») 
и опирайся на обе.

Это более слабая форма метода (по сути инструкция «найди дополнение»), поэтому для критичных решений лучше нормализовать входные данные до модели.

🔗

Ресурсы

  • Статья: Same Probabilities, Different Advice: Gain-Loss Framing Effects in High-Stakes LLM Decision Support
  • Авторы: Yuyao Zhang, Yakun Cui, Han Zhu, Jinsong Lu, Yike Guo, Sirui Han — Гонконгский университет науки и технологии, Университет Бэйхан (Beihang)
  • Бенчмарк: FRAMEBENCH-HPS (2 880 промптов, 240 сценариев)
  • Базовая теория: Tversky & Kahneman, 1981 (эффект рамки); связанная работа DeFrame (Lim et al., 2026)

📋 Дайджест исследования

Ключевая суть

Скажи модели «80% что получится» или «20% что не получится». Расклад один, а совет разный: в трети случаев категория ответа меняется. Метод явной подачи обеих вероятностей позволяет получать от LLM стабильный совет в рискованных решениях, как бы ты ни сформулировал шанс. Пиши в промпте оба числа сразу: 40% успех, 60% неуспех. Модель перестаёт цепляться за слова вроде «шанс не…» и «риск». Смена совета падает с 34% до 7%, а это уровень обычного шума между запусками.

Принцип работы

Процесс короткий: берёшь вероятность → дописываешь вторую сторону до 100% → отдаёшь модели оба числа в одном формате. Модель читает слова, а не числа. «40% шанс не получить» для неё звучит как предупреждение, «60% шанс получить» как обещание. Человеку это одно и то же. Модели нет. Когда оба числа стоят рядом, она видит одно распределение. Ей не нужно самой вычитать из 100%. Именно этот шаг и ломается, когда число подано со стороны потерь. Также работает как весы: если на одной чаше только «риск», стрелка уходит вниз. Положи на вторую чашу «шанс», и стрелка встанет ровно.

Почему работает

Проблема в том, что сбой почти не виден. Прямых разворотов «да» в «нет» меньше 1%. Зато «да» или «нет» превращается в «не уверен». Ответ выглядит нормально, поэтому ошибку легко пропустить. Эффект рамки известен у людей с 1981 года. Модель просто копирует человеческую привычку. Сильнее всего страдают оценка риска и готовность дать категоричный совет. Прикол: если попросить модель самой найти дополняющие вероятности, смена совета снижается лишь с 34% до 23%. Написать второе число за модель надёжнее, чем просить её досчитать самой: 7% против 23%. Слабым моделям достаётся сильнее. У GPT-4o-mini категория совета меняется больше чем в половине случаев. У Claude Sonnet 4.6 и Gemini 3 Flash эффект меньше, но не нулевой.

Когда применять

Решения с риском (бизнес, финансы, медицина, юридические вопросы) → конкретно когда ты сам пишешь вводные и просишь у модели совет «делать или нет», особенно если от этого зависят деньги. Если вход не контролируешь (например, тебе присылают текст клиента), используй слабый вариант: попроси модель выписать все вероятности и найти их дополнения до 100%. Это снижает смену совета примерно на треть, но не убирает. НЕ подходит, если исходов больше двух или есть диапазоны: там метод не проверяли. Он также не делает совет правильным. Плохой совет будет плохим при любой формулировке, просто одинаково плохим.

Мини-рецепт

1. Найди вторую сторону: есть «40% окупимся», значит, есть «60% не окупимся». В сумме всегда 100%.
2. Выровняй формат: оба числа в процентах и в одном порядке. Не смешивай «60%» и «каждый второй».
3. Зеркальные исходы: «окупимся / не окупимся», «вылечат / не вылечат».
4. Допиши строку: «Сумма: 100%. Это одна и та же оценка, описанная с двух сторон». Это моя добавка, авторы её не тестировали.
5. Дай цену исходов: сколько выиграешь и сколько потеряешь. Числа перетянут внимание с эмоциональных слов.
6. Оставь третий вариант ответа: «запускать / не запускать / нужно больше данных». Именно туда модель сбегает при смене рамки, и так это сразу видно.
7. Проверка: прогони промпт ещё раз, поменяв порядок строк. Совет должен совпасть.

Если вход не твой, вставь запасной вариант: Прежде чем рекомендовать, выпиши все вероятности из описания и найди их дополнения до 100%. Опирайся на структуру вероятностей, а не на слова. Затем дай рекомендацию. Формулировка собрана по описанию метода, дословного текста из статьи нет.

Примеры

[ПЛОХО] : Хотим закупить партию косметики на 2,4 млн ₽ и вывести на Wildberries. Вероятность, что не окупимся за 3 месяца, — 60%. Стоит ли запускать? Модель увидит только слово «не» и чаще уйдёт в «не уверен» или «нет». Перепиши то же самое как «40% что окупимся», и совет станет мягче.
[ХОРОШО] : Хотим закупить партию косметики на 2,4 млн ₽ и вывести на Wildberries. Вероятности за 3 месяца: 40% — выйдем в плюс, 60% — не выйдем в плюс. Сумма 100%, это одна и та же оценка с двух сторон. Если не окупимся, потеряем до 1,1 млн ₽. Если окупимся, получим около 1,8 млн ₽ прибыли. Дай рекомендацию: запускать / не запускать / нужно больше данных. Объясни, на какие числа опираешься. Модель опирается на оба числа и на суммы. Если переписать вводные «с другой стороны», совет не должен поменяться.
Источник: Same Probabilities, Different Advice: Gain-Loss Framing Effects in High-Stakes LLM Decision Support
ArXiv ID: 2610.29294 | Сгенерировано: 2026-10-22 17:10

Проблемы LLM

ПроблемаСутьКак обойти
Совет модели зависит от того, с какой стороны назвали вероятностьПишешь «80% что получится». Модель рекомендует уверенно. Пишешь «20% что не получится». Расклад тот же, но ответ осторожнее, а риск оценён выше. Примерно в трети случаев меняется сам совет. Почти всегда «да» или «нет» превращается в «не уверен». Прямых разворотов «да → нет» очень мало. Поэтому сбой трудно заметить: ответ выглядит нормально. Это касается любых решений с вероятностями: бизнес, финансы, медицина, рискиДавай обе вероятности сразу: «40% успех / 60% неуспех». Сумма 100%. Не оставляй только одну сторону. Если не контролируешь вход, добавь инструкцию «найди дополнения до 100%». Она работает слабее

Методы

МетодСуть
Обе вероятности в запросе — совет не зависит от рамкиДля каждого бинарного исхода запиши обе стороны. Формат: - {p}% — положительный исход, - {100−p}% — отрицательный исход. Допиши: «Сумма 100%. Это одна и та же оценка, описанная с двух сторон». Добавь последствия каждого исхода числами: выигрыш и потеря. Дай три варианта ответа: «делать / не делать / нужно больше данных». Почему работает: Когда оба числа стоят рядом, модель видит одно распределение. Ей не нужно самой вычитать из 100%. Именно этот шаг ломается, когда число подано «со стороны потерь». Явные суммы переносят внимание с эмоциональных слов на числа. Третий вариант ответа нужен для диагностики: при смене рамки модель уходит именно в него, и это сразу видно. Правила: оба числа в одном формате (оба проценты, один порядок). Исходы пиши зеркальными парами: «окупимся / не окупимся». Проверка: прогони запрос дважды, поменяв порядок строк. Совет должен совпасть. Когда да: решение с двумя исходами и известной вероятностью. Когда нет: несколько исходов или диапазоны, там не проверено. Метод делает совет стабильным, но не правильным. Плохой совет останется плохим при любой рамке. Слабые модели страдают сильнее: у небольших совет меняется больше чем в половине случаев
📖 Простыми словами

Same Probabilities, Different Advice: Gain-Loss Framing Effects in High-StakesLLMDecision Support

arXiv: 2610.29294

Нейросети тупо не умеют в чистую математику, когда ты скармливаешь им вероятности текстом. Для LLM фраза «60% шанс успеха» звучит как зелёный свет и обещание прибыли, а «40% шанс провала» врубает режим паники, хотя математически это абсолютно одно и то же. Модель цепляется за эмоциональный окрас слов, ловит человеческий эффект рамки и выдаёт противоположные советы на одни и те же вводные.

Это как заказать стакан, наполненный ровно наполовину, у двух разных барменов: оптимист нальёт тебе «наполовину полный» и пожелает отличного вечера, а пессимист буркнет, что «половины уже нет». Жидкости в стакане столько же, но подача наглухо сломала логику советчика. В реальных решениях из-за таких качелей можно слить миллионы на ровном месте просто потому, что ты криво задал вопрос.

Лекарство от этой шизофрении элементарное — явная подача обеих вероятностей. Вместо того чтобы скармливать модели одну сторону медали, ты принудительно вбиваешь в промпт оба исхода: «60% шанс взлететь и 40% шанс прогореть». Модель видит полную симметрию, её перестаёт штормить, и рекомендация наконец-то опирается на холодный расчёт, а не на то, какое слово стояло первым.

В исследовании тестировали запуск косметики на маркетплейсе с бюджетом в 2,4 миллиона рублей, но принцип универсален. Оценка рисков в стартапе, медицинские решения, крипта или запуск рекламы — везде, где ты используешь AI как бизнес-консультанта, есть риск получить совет от перепуганного параноика, если показать ему только риски. Симметричный промптинг полностью убирает эту проблему.

Короче: прекрати надеяться, что алгоритм беспристрастен, и не давай ему додумывать эмоциональный контекст. Нужен адекватный аудит — всегда пиши оба исхода сразу, закрывая модели лазейки для искажений. Иначе ты похоронишь прибыльный проект только потому, что чат-бот испугался слова «неудача» в твоём собственном промпте.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с