TL;DR
Когда вы просите LLM проанализировать данные с числами — выручку, проценты, показатели — модель часто выдаёт уверенный вывод на основе одной изолированной цифры. Это ошибка. Исследование описывает Numeric Firewall — инструкцию в промпте, которая запрещает модели повышать уверенность по числу, если рядом нет хотя бы одного из трёх «якорей»: именованной сущности, формульного контекста или нескольких независимых подтверждающих сигналов.
Вторая проблема: LLM не умеет честно говорить «я не уверен». Обычно она просто отвечает — и вы не знаете, это уверенный ответ или угадывание. Авторы добавили в промпт требование дать числовую оценку уверенности P(correct) и ввели порог срабатывания — действовать по ответу только если P ≥ 0.90. Всё, что ниже — значит, модель находится в состоянии «плохо различимые кандидаты», и это сигнал уточнить контекст.
Третья техника — leadin-aware reasoning: для многочастных вопросов сначала предлагается сформулировать общую тему/рамку по вводной части, и только потом отвечать на подвопросы. Это снижает ошибки из-за потери контекста между частями.
Схема метода
ТРИ ТЕХНИКИ — все работают в одном промпте:
ТЕХНИКА 1 — Numeric Firewall
Условие: встретил изолированное число/метрику
→ Запрет повышать уверенность, IF только цифра без якоря
Якори (нужен хотя бы один):
- Именованная сущность рядом (компания, персона, продукт)
- Формульный/методологический контекст
- Несколько независимых сигналов сходятся на одном выводе
ТЕХНИКА 2 — Confidence Gating
→ Для каждого вывода: выдать P(correct) от 0 до 1
Решение: P ≥ 0.90 → уверенный ответ
P < 0.90 → сигнал "нужно больше контекста"
ТЕХНИКА 3 — Leadin-Aware Reasoning
→ Для многочастных вопросов: сначала извлечь общую тему/рамку
→ Только потом отвечать на каждую часть внутри этой рамки
Всё выполняется в одном промпте.
Пример применения
Задача: Основатель стартапа присылает питч-дек. Нужно проверить, насколько обоснованы их заявления — в частности, «рынок растёт на 34% в год», «CAC = 890 рублей», «мы уже работаем с 12 корпорациями».
Промпт:
Ты — аналитик инвестиций. Разбери этот питч по трём частям:
1. Рыночные заявления
2. Юнит-экономика
3. Трекшн и клиенты
Перед разбором каждой части — сформулируй одним предложением,
что именно проверяешь (общая рамка этого блока).
Для каждого числового заявления применяй правило:
Если цифра стоит изолированно — без источника, названия компании
или нескольких независимых подтверждений — НЕ делай уверенный вывод.
Вместо этого укажи: "Якорь отсутствует — нужно уточнить [что именно]."
После каждого вывода добавляй: P(correct) = [0.00–1.00]
Если P < 0.90 — поясни, какой информации не хватает для уверенности.
Документ:
[вставить текст питч-дека]
Результат: Модель сначала выдаст рамку для каждого блока («здесь проверяю обоснованность рыночного роста»). Затем разберёт заявления и отметит, где цифры «висят в воздухе» — без источника, без контекста. Для каждого вывода появится P(correct): высокое там, где есть подтверждения, и низкое — с пояснением чего не хватает. Вы сразу увидите, какие утверждения стартапа требуют проверки, а каким можно условно доверять.
Почему это работает
Слабость LLM с числами: Модель обучена на тексте, где числа часто сопровождают конкретные факты. Когда она видит «34%», мозг тренированный на паттернах тянется заполнить пробел — и уверенно выдаёт вывод, даже если контекст слабый. Это не ложь — это галлюцинация уверенности.
Что LLM умеет хорошо: Следовать явным правилам в промпте. Если написать «не повышай уверенность когда нет якоря» — модель будет это выполнять. Она хорошо симулирует логику принятия решений, если эта логика задана текстом.
Как метод использует это: Numeric Firewall превращает расплывчатое «будь осторожен с числами» в конкретный алгоритм: проверь наличие якоря → если нет — заблокируй высокую уверенность → скажи пользователю что не хватает. Confidence Gating делает неуверенность видимой — не скрытой внутри уверенно звучащего текста, а явной меткой.
Рычаги управления: - Порог P — попробуйте 0.85 если хотите больше ответов (с пометкой о неуверенности), или 0.95 для максимальной осторожности - Список якорей — можете адаптировать под домен: для медицины добавьте «клиническое исследование», для юриспруденции — «нормативный акт» - Формат вывода P — можно заменить на словесный: «высокая / средняя / низкая уверенность»
Шаблон промпта
Ты — {роль: эксперт/аналитик/советник}.
Отвечай на {задача} по следующим правилам:
[Leadin] Перед ответом одним предложением сформулируй общую рамку:
что именно ты анализируешь и по какому принципу.
[Numeric Firewall] Для каждого числового факта, метрики или данных:
— Проверь: есть ли рядом именованная сущность, методологический контекст
или несколько независимых подтверждений?
— Если ни одного якоря нет → не делай уверенный вывод.
Пиши: "Якорь отсутствует — нужно уточнить: {что именно}."
— Если якорь есть → вывод допустим.
[Confidence Gating] После каждого вывода добавляй:
P(correct) = [число от 0.00 до 1.00]
Если P < 0.90 — одним предложением укажи чего не хватает.
Задача: {описание задачи или вставить текст для анализа}
Плейсхолдеры:
- {роль} — аналитик инвестиций, юридический советник, редактор, финансовый эксперт
- {задача} — что анализируем: питч-дек, пресс-релиз, отчёт, научная статья
- {описание задачи} — конкретный текст или описание ситуации
🚀 Быстрый старт — вставь в чат:
Вот шаблон с тремя техниками: Numeric Firewall, Confidence Gating
и Leadin-aware reasoning. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про роль, тип анализируемого материала и нужный порог уверенности — потому что без этого не сможет правильно настроить условия Numeric Firewall и сформулировать leadin.
Ограничения
⚠️ Специфика задачи: Техники ориентированы на аналитические задачи с фактическими данными. Для творческих задач (написать текст, придумать идею) требование якорей неприменимо — там просто нет «изолированных чисел».
⚠️ P(correct) — это иллюзия точности: Модель не знает истинную вероятность. Она следует инструкции и выдаёт число, которое отражает её «ощущение» уверенности — не реальную статистику. Используйте P как сигнал сравнения между выводами, не как абсолютную метрику.
⚠️ Verbose режим: Три механизма в одном промпте увеличивают длину ответа. Для быстрых вопросов проще убрать Confidence Gating или упростить до «укажи если неуверен».
⚠️ Порог 0.90 — не универсальный: В исследовании его выбрали под конкретную систему наград/штрафов соревнования. Под вашу задачу порог нужно калибровать самостоятельно.
Как исследовали
Команда из Читтагонгского инженерного университета (Бангладеш) участвовала в соревновании QANTA 2026 — по сути, это «академический квиз с картинками в реальном времени». Система получала вопрос по кусочкам и должна была решить когда нажать «кнопку» (buzz): слишком рано — штраф за неправильный ответ, слишком поздно — теряешь очки за скорость.
Интересно: они не обучали никакие модели, не использовали RAG (когда подгружаешь внешнюю базу знаний). Только промптинг через API GPT-4.1-mini и GPT-4.1. Весь Tossup-трек обошёлся в $0.14 — это не опечатка.
Главный сюрприз пришёл при анализе ошибок: модель путала Фродо с Бильбо, Гэтсби с Карравэем, Mormon с Catholic — то есть правильно определяла «зону» (хоббиты, «Великий Гэтсби», христианские деноминации), но не могла выбрать нужную сущность внутри. Вывод: ранняя уверенность при неполном контексте — главный враг. При пороге 0.75 — точность 25%, при 0.90 — 100% (на тестовой выборке). Это жёсткая иллюстрация того, что качество ответа и момент ответа — разные проблемы.
Числовые вопросы оказались отдельной головной болью: модель видела «42 метра» или «уравнение третьего порядка» и уверенно «угадывала» правильный ответ — и чаще всего ошибалась. Numeric Firewall это починил.
Адаптации и экстраполяции
🔧 Техника: P как светофор → упрощённая версия для ежедневного использования
Если P(correct) кажется слишком «технарским», замените на трёхцветный светофор:
После каждого вывода укажи:
🟢 Уверен — есть конкретные подтверждения
🟡 Предполагаю — есть косвенные признаки, но не достаточно
🔴 Гадаю — информации недостаточно, нужно уточнить: [что именно]
Та же логика, но без цифр — проще воспринимать в длинных ответах.
🔧 Экстраполяция: Numeric Firewall для проверки фактов в тексте
Принцип работает не только при анализе данных, но и при факт-чекинге любого контента. Если попросить LLM отредактировать или пересказать текст — она может «упростить» факты, теряя якоря. Добавьте правило:
При пересказе/редактировании: каждое числовое утверждение
сохраняй ТОЛЬКО вместе с его источником или контекстом.
Если якорь не помещается — обозначь число как [ТРЕБУЕТ УТОЧНЕНИЯ].
Ресурсы
Название работы: Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Авторы: Nirjhar Das, Md. Al-Mamun Provath — Department of Computer Science and Engineering, Chittagong University of Engineering & Technology, Chattogram, Bangladesh
Опубликовано: EMM-QA 2026 Workshop, ICML 2026 (Non-Archival)
Контакт: nirjhardasami@gmail.com
Ключевые ссылки из статьи: - Kadavath et al., 2022 — уверенность LLM как полезный сигнал для принятия решений - Geifman & El-Yaniv, 2017 — selective prediction (модель выбирает, отвечать или нет) - Bansal et al., 2021 — человеко-ИИ коллаборация и интерпретируемость