TL;DR
Когда ChatGPT или Claude раз за разом выдают один и тот же ответ на одинаковый вопрос — это не доказательство правоты. Исследование проверило 265 000 ответов нескольких моделей OpenAI и обнаружило: высокая самосогласованность (модель повторяет один ответ при многократных запросах) почти не коррелирует с правильностью — особенно у топовых моделей.
Главная находка: GPT-4.1 соглашается с собой в 89% случаев — и при этом ошибается в 48% «уверенных» ответов на сложных задачах. То есть почти каждый второй ответ, который модель выдаёт с максимальной уверенностью, — неверный. Причина не в том, что модель «думает» и приходит к выводу — она просто воспроизводит заученный паттерн из обучения. Уверенность = повторяемость паттерна, не правота.
Но есть хорошая новость: Chain-of-Thought (рассуждение по шагам) стабильно улучшает точность ответов — на 6-8 процентных пунктов. Средняя модель (GPT-4.1-mini) с CoT даёт более надёжный сигнал уверенности, чем топовая без него. Дополнительная проверка через Claude дала тот же результат: Opus (самый мощный) — самый самоуверенный и хуже всего откалиброванный. Более того, GPT-4 и Claude часто ошибаются на одних и тех же вопросах — значит, спросить у второй модели не спасает.
Схема метода
Это не техника, а исследование-находка. Из него вытекают три практических принципа:
ПРИНЦИП 1: Уверенность ≠ правота
→ Frontier-модели (GPT-4, Claude Opus) переуверены
→ Не принимай повторяющийся ответ как факт на сложных вопросах
ПРИНЦИП 2: CoT улучшает точность И калибровку
→ Попроси модель рассуждать по шагам
→ Mid-tier + CoT надёжнее frontier без CoT
ПРИНЦИП 3: Перекрёстная проверка у другой модели ненадёжна
→ GPT и Claude совпадают в ошибках выше случайного уровня
→ Консенсус двух моделей ≠ правда
ПРАКТИКА: Атака на уверенный ответ
→ После получения ответа — попроси модель его оспорить
→ Явная вербализация уверенности улучшает калибровку
Все принципы применяются в обычном чате — никакого кода.
Пример применения
Задача: Ты разбираешь условия договора с поставщиком. Юрист дорогой, времени нет. Попросил ChatGPT — он уверенно ответил, что пункт 4.3 не несёт рисков. Стоит ли доверять?
Промпт (атака на уверенный ответ):
Ты только что сказал, что пункт 4.3 договора не несёт финансовых рисков.
Теперь сыграй роль скептика и найди аргументы ПРОТИВ этого вывода.
Шаг 1. Перечисли 3 конкретные ситуации, при которых пункт 4.3
всё-таки может создать риск для покупателя.
Шаг 2. Оцени каждую ситуацию: насколько она реалистична
(1 = маловероятно, 5 = вполне реально).
Шаг 3. После критики — пересмотри первоначальный вывод.
Ты его подтверждаешь или меняешь? Скажи прямо.
Вот пункт договора: {текст пункта}
Результат: Модель пройдёт по шагам — сначала найдёт аргументы против своего же вывода, оценит их серьёзность, затем скажет, устоял ли первоначальный ответ. Ты увидишь, был ли он действительно надёжным или просто уверенно звучащим паттерном.
Почему это работает
Слабость LLM: Модель не знает, что она "не знает". После обучения с подкреплением (RLHF) топовые модели стали ещё увереннее в тоне — но точнее не стали. Это как человек, который очень уверенно отвечает на экзамене, потому что ответ звучит знакомо, — не потому что он в нём разбирается.
Сильная сторона LLM: Модель хорошо умеет менять перспективу по инструкции. Попроси её сыграть роль критика своего же ответа — и она найдёт слабые места, которые в режиме "дай ответ" не показала бы. CoT работает по той же логике: явное разворачивание рассуждения вскрывает шаги, которые иначе остаются скрытыми.
Как метод обходит слабость: Вместо того чтобы доверять уверенному тону — ты принудительно создаёшь оппозицию внутри одного промпта. Модель не может одновременно и защищать ответ, и атаковать его — один из режимов вскроет настоящую неопределённость. Плюс вербализация уверенности (оцени 1-5) даёт отдельный сигнал, который в комбинации с самосогласованностью лучше калибрует, чем каждый из них по отдельности.
Рычаги управления: - Число аргументов против (3 — оптимум) → уменьши до 1 для быстрой проверки, увеличь до 5 для критически важных решений - Шкала реалистичности (1-5) → замени на "какова вероятность в %", если нужна более точная оценка - Финальный пересмотр ("подтверждаешь или меняешь") → убери, если хочешь только список рисков без вердикта
Шаблон промпта
Ты только что дал ответ: {предыдущий ответ модели}
Теперь выступи в роли критика. Твоя задача — найти слабые места
в этом ответе, не защищать его.
Шаг 1. Перечисли {число} конкретных причин, по которым
этот ответ может быть неверным или неполным.
Шаг 2. Оцени каждую причину по серьёзности:
1 = незначительная, 5 = меняет вывод полностью.
Шаг 3. После разбора — скажи прямо:
ты подтверждаешь исходный ответ или меняешь его?
Если меняешь — дай скорректированный вывод.
Контекст задачи: {описание твоей ситуации}
Плейсхолдеры:
- {предыдущий ответ модели} — скопируй ответ, который хочешь проверить
- {число} — обычно 3, для важных решений поставь 5
- {описание твоей ситуации} — добавь контекст, чтобы критика была предметной
🚀 Быстрый старт — вставь в чат:
Вот шаблон для проверки уверенных ответов модели.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про контекст задачи и ответ, который нужно проверить — потому что без этого критика будет абстрактной и бесполезной.
Оригинал из исследования (опционально)
Исследование не описывает промпт-технику — оно аудирует сигнал уверенности на 265 000 ответах. Готового промпта в оригинале нет. Шаблон выше — это экстраполяция из выводов.
Ограничения
⚠️ Задачи с однозначным ответом: Принцип "уверенность ≠ правота" критичен для сложных рассуждений, экспертных областей, неоднозначных текстов. На простых вопросах (столица страны, базовые факты) модели действительно надёжны — атака на ответ там избыточна.
⚠️ Перекрёстная проверка не работает как думают: Если спросить GPT-4 и Claude об одном и том же — и оба ответят одинаково — это НЕ означает правоту. Модели совпадают в ошибках выше случайного уровня. Общие предубеждения из предобучения передаются обоим.
⚠️ CoT не улучшает сигнал уверенности резко: Chain-of-Thought стабильно поднимает точность ответов (~6-8 п.п.), но лишь слегка улучшает связь между уверенностью и правотой. Это не серебряная пуля для калибровки.
⚠️ Позиционный баас в вариантах: Если спрашиваешь модель выбрать из вариантов A/B/C/D — она системно занижает выбор "D". Это не мнение — это паттерн, подтверждённый тестом с перемешиванием вариантов.
Как исследовали
53 участника — студенты одного курса — провели по 50 запросов к разным версиям GPT-4.1 на одних и тех же задачах. Итого 265 000 ответов на два бенчмарка: GPQA Diamond (вопросы уровня аспирантуры, 4 варианта ответа) и AIME (олимпиадная математика, ответ — целое число). Разброс между участниками — намеренный: каждый писал свой промпт по-своему, что позволило отделить ошибки, которые возникают случайно, от тех, что повторяются у всех независимо от формулировки.
Самое любопытное — вопрос gpqa_d_076 и gpqa_d_106 (правильный ответ B) все участники без исключения не смогли решить: каждый с уверенностью выдавал "C". При этом gpt-4.1 выдавал этот неверный ответ с согласованностью 1.0 — то есть 50 из 50 раз одно и то же. Это не шум — это стабильное заблуждение, встроенное в модель.
Дополнительно проверили через Claude: те же два задания, три уровня модели (haiku / sonnet / opus). Без API — через агентные сессии. Результат воспроизвёлся: opus самый самоуверенный (C=0.94) и хуже всего откалиброванный (ECE=0.35), тогда как средний sonnet точнее (M=0.63 vs 0.58) и с реальной связью между уверенностью и правотой (ρ=0.74 vs 0.44). И главный сюрприз: GPT и Claude ошибаются на одних и тех же вопросах — выше случайного уровня. Это значит, что их "консенсус" отражает общие предубеждения из предобучения, а не истину.
Адаптации и экстраполяции
💡 Адаптация: Комбинированный сигнал уверенности
Из исследования: комбинация самосогласованности + вербализованной уверенности даёт лучшую калибровку (ECE 0.13 vs 0.30). Это достижимо в обычном чате:
Ответь на вопрос: {вопрос}
После ответа:
1. Оцени свою уверенность в нём от 0 до 100%
2. Укажи, на чём основана уверенность:
(а) помню точно из обучения,
(б) вывожу логически,
(в) предполагаю
3. Назови одну вещь, которую ты НЕ знаешь точно по этому вопросу
Ты получишь два независимых сигнала — числовую оценку и источник уверенности. Комбинация даёт более честную картину, чем тон ответа.
🔧 Техника: Позиционный баас в списках вариантов
Если просишь модель выбрать из вариантов — последний вариант систематически занижается. Это подтверждено экспериментально (D в четырёх вариантах выбирается в 15-16% случаев вместо ожидаемых 25%).
Фикс: Попроси модель сначала оценить каждый вариант независимо, потом выбрать лучший:
Оцени каждый вариант отдельно по шкале 1-10, объясни оценку,
затем выбери лучший.
Варианты:
А) {вариант 1}
Б) {вариант 2}
В) {вариант 3}
Г) {вариант 4}
🔄 Экстраполяция: Анти-консенсусный промпт для важных решений
Вывод из исследования: когда две модели соглашаются — это не усиливает уверенность. Вместо кросс-проверки у второй модели — лучше в одной модели создать искусственный конфликт мнений:
Ты — дискуссионная панель из двух экспертов с противоположными взглядами.
Эксперт А: найди сильные аргументы В ПОЛЬЗУ {тезиса/решения}.
Эксперт Б: найди сильные аргументы ПРОТИВ.
Дай каждому по 3 аргумента. Потом выступи арбитром:
какая сторона убедительнее и почему?
Это надёжнее, чем спросить то же самое у Claude — потому что Claude часто согласится с GPT не потому что он прав, а потому что у них одинаковые биасы.
Ресурсы
Название работы: When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals
Автор: Kaihua Ding, University of Pennsylvania (dkaihua@upenn.edu)
Ключевые ссылки из исследования: - Self-consistency decoding: Wang et al., 2023 - Chain-of-thought: Wei et al., 2022 - LLM-as-judge: Zheng et al., 2023 - GPQA Diamond benchmark: Rein et al., 2024 - Calibration после RLHF: Kadavath et al., 2022; OpenAI, 2023