TL;DR
Симметричные дебаты — это протокол проверки спорного утверждения. Две копии одной сильной модели одновременно защищают противоположные ответы (верный и неверный), по три хода каждая. Судья читает транскрипт и выбирает, какой ответ верен. Для человека-судьи, который не разбирается в теме, точность выросла с 41% до 58%.
Если же просить одну модель убеждать за один вариант («консультант»), точность не растёт вообще. Она даже слегка падает (51% → 49%). Человек видит только одну сторону и склоняется к ней.
Главная находка: слабую модель в роли судьи дебаты не спасают. У одних моделей точность чуть растёт, у других падает (Claude Sonnet 4: с 85% до 79%). Добавление судей-LLM тоже не помогает: голосование и обсуждение группы моделей не дают значимого прироста. Значит, «пусть модели поспорят, а третья решит» не заменяет человека. Работает связка «две модели спорят — человек решает». Для людей лучше всего сработало голосование небольшой группы, где голос каждого взвешен его уверенностью (46% → 65%).
Схема метода
ШАГ 1: Фиксируешь два взаимоисключающих утверждения (А и Б) → формулировки
ШАГ 2: Два отдельных чата/модели, каждой — своя сторона → до 100 слов за ход
ШАГ 3: 3 хода каждой. Аргументы пишутся одновременно,
каждая видит только прошлые ходы → транскрипт
ШАГ 4: Судья (человек) читает оба транскрипта и выбирает ответ + уверенность 0–100
(опционально) ШАГ 5: Несколько судей → голос каждого умножается на уверенность
Шаги 2–3 требуют отдельных запросов или чатов. Шаг 4 делает человек.
Пример применения
Метод сильнее всего там, где ты не эксперт, а ответ нельзя быстро проверить в поисковике. Это не работает для вопросов вроде «сколько будет 17×23».
Задача: Основатель онлайн-школы в Казани спорит с маркетологом: «Реклама в небольших Telegram-каналах окупается лучше, чем в крупных». Модель в чате уверенно согласилась, но она угодливая. Основатель не специалист и не знает, кому верить.
Промпт (дебатёр А, отдельный чат):
Ты участвуешь в дебатах. Твоя задача — убедить судью, что верно утверждение А.
Утверждение А: «Реклама в небольших Telegram-каналах (до 10 000 подписчиков) для онлайн-школы окупается лучше, чем в крупных».
Правила:
- Всего 3 хода. Каждый ход — не более 100 слов.
- Защищай А последовательно, в рамках одной линии рассуждения.
- Не соглашайся с оппонентом и не сводись к «истина посередине».
- Опирайся на логику и конкретные механизмы, а не на выдуманные цифры.
- Судья не специалист по теме. Пиши понятно.
Начинай с хода 1.
Во втором чате дай то же самое, но с утверждением Б: «В крупных каналах окупается лучше». Ходы 2 и 3 запрашивай, вставляя в чат ходы оппонента из прошлых раундов.
Результат: Получишь два транскрипта по три хода по 100 слов. Каждый защищает свою сторону и опровергает оппонента. Затем ты, не эксперт, читаешь оба, выбираешь сторону и ставишь уверенность 0–100. Если уверенность высокая, выбору можно доверять больше. Если низкая, нужна внешняя проверка: данные, подрядчик, тест на небольшом бюджете.
Почему это работает
Слабость: Если просить модель «объясни, почему верно А», она убедительно защитит что угодно, в том числе неверное. Одностороннее убеждение не показывает контраргументов. Человек видит гладкий текст и принимает его за истину. Поэтому «консультант» дал нулевой эффект.
Сильная сторона: LLM хорошо строит аргументы за любую заданную позицию. Человеку проще выбрать между двумя аргументами, чем проверить один с нуля.
Как метод это использует: Вторая сторона вскрывает слабые места первой, и судья видит обе. Но для этого судья должен сам уметь взвесить спор. Слабая модель-судья не умеет: она плывёт, поддаётся более гладкому тексту и иногда ухудшает результат. Рычаги управления: - Число ходов и длина (3 × 100 слов). Увеличивай для сложных тем, уменьшай для экономии. - Одновременные ходы вместо последовательных. Когда второй видит аргумент первого, судья склоняется ко второму. - Обмен сторонами. Прогони дебаты второй раз, поменяв утверждения местами, чтобы убрать перекос по позиции. - Требование последовательной линии. Без него обе модели, обученные быть правдивыми, сползают к одной общей позиции. - Уверенность судьи 0–100. Это фильтр: высокоуверенные решения оказались надёжнее.
Шаблон промпта
Ты участвуешь в дебатах и защищаешь позицию {сторона: А или Б}.
Тема: {тема}
Твоё утверждение: «{утверждение_твоё}»
Утверждение оппонента: «{утверждение_оппонента}»
Правила:
- Ходов всего {число_ходов}. Каждый ход — не более {число_слов} слов.
- Защищай своё утверждение последовательно: каждый аргумент должен вытекать из одной общей линии рассуждения.
- Не соглашайся с оппонентом и не уходи в «истина посередине».
- Отвечай на аргументы оппонента из предыдущих ходов.
- Не выдумывай факты и цифры. Если не уверен — опирайся на механизм и логику.
- Судья не специалист в теме. Пиши понятно.
Транскрипт прошлых ходов:
{транскрипт_или_пусто}
Напиши ход {номер_хода}.
Подставляй: {утверждение_твоё} и {утверждение_оппонента} — две взаимоисключающие формулировки (одна верная, другая нет, ты не знаешь какая). {транскрипт} — ходы обеих сторон за прошлые раунды. Для второй стороны меняй местами утверждения.
🚀 Быстрый старт — вставь в чат:
Вот шаблон симметричных дебатов. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие два взаимоисключающих утверждения ты проверяешь и насколько ты разбираешься в теме. Это нужно, чтобы сформулировать честные стороны без подсказки, какая верна, и подобрать язык аргументов под неспециалиста.
Ограничения
⚠️ Слабая модель в роли судьи: Судья-LLM слабее дебатёров не получает стабильного прироста, а иногда теряет в точности. Не делегируй вердикт модели.
⚠️ Много судей-LLM: Голосование и обсуждение группы моделей значимо не улучшили точность, даже при росте числа судей. «Совет из пяти ИИ» не заменяет человека.
⚠️ Один «консультант»: Если просить модель защищать только один ответ, это не помогает человеку, а может навредить.
⚠️ Перенос на соседние вопросы: Эффект на смежных подтемах числено сохранился, но статистически не подтвердился.
⚠️ Симметричные группы: В группах без разнообразия неверная позиция оказалась убедительнее верной. Уверенное меньшинство с правильным ответом чаще сдавалось.
⚠️ Условия проверки: Проверяли на спорных утверждениях о малоизвестных научно-технических темах и на людях без экспертизы. Прирост среди людей — единицы-десятки процентных пунктов, а не гарантия.
Как исследовали
Команда собрала 100 пар утверждений по 10 малоизвестным темам (например, «зеркальная жизнь», сверхзвуковые самолёты). В каждой паре одно утверждение верно, другое нет. Сильная модель (Claude Opus 4.5) играла обоих дебатёров: 3 хода по 100 слов, ходы одновременные, позиции перемешивали. Получилось 200 дебатов.
Судьями были 507 человек-неэкспертов (платформа Prolific) и 8 моделей от слабых (Gemma-3-4B, Llama-3.1-8B) до сильных (GPT-5.2, Claude Sonnet 4). Всего больше 75 тысяч решений моделей. Судей делили по исходным убеждениям на тех, кто начинал с верной общей позиции, и тех, кто с ошибочной. Так можно было измерить и «исправили ошибку», и «сбили с верного». Базовый уровень убеждений фиксировали до дебатов, без отдельной контрольной группы.
Сравнивали с «консультантом», который защищает один вариант. Дебаты подняли точность людей с 41,3% до 57,6% (p=0,028), консультант не дал ничего (51% → 49%). Для LLM-судей картина смешанная: GPT-5.2 вырос (85% → 90%), Claude Sonnet 4 упал (85% → 79%).
Групповые протоколы: у людей взвешенное голосование дало 46% → 65%, у LLM-групп значимого эффекта нет. Неожиданность: в однородных панелях верное меньшинство сдавалось чаще, чем ошибочное меняло мнение. Вывод для практики: не полагайся на слабые модели в роли арбитра, держи в цепочке человека.
Адаптации и экстраполяции
🔧 Техника: взвешенное мини-жюри → надёжнее одного судьи
Если решение значимое, дай прочитать оба транскрипта 3–5 коллегам. Пусть каждый выберет сторону и поставит уверенность 0–100 независимо, без обсуждения. Голос каждого умножай на его уверенность. В исследовании именно такой подсчёт дал лучшую точность среди групповых протоколов.
🔧 Техника: поменять стороны местами → убрать перекос модели
Прогони дебаты второй раз, поменяв утверждения местами между чатами. Если по итогу обеих прогонов победа остаётся за одной стороной, вывод надёжнее.
Ресурсы
- Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not
- Авторы: Maria Victoria Carro, Denise Alejandra Mester, Facundo Nieto, Oscar Agustín Stanchi, Guido Ernesto Bergman, Gerardo Simari, Maria Vanina Martinez и др.
- Университеты: Universidad de Buenos Aires (FAIR, IALAB), Università degli Studi di Genova, Universidad Nacional del Sur, IIIA-CSIC и др.
- Код и данные: https://github.com/FAIR-IALAB-UBA/Debate-NeurIPS26
- Опорные работы: Irving et al. 2018 (AI Safety via Debate), Khan et al. 2024, Michael et al. 2023, Kenton et al. 2024