TrueMAD: адресные советы между агентами вместо простой раздачи ответов в дебатах LLM

ШАГ 1: Каждый агент решает задачу независимо → N ответов
ШАГ 2: Все ответы показываются всем (как в обычных дебатах)
ШАГ 3: Для каждой пары (источник i → цель j, i ≠ j):
        источник читает ответ цели и пишет совет в свободной форме:
        поддержка / возражение / уточнение / вопрос
        → у каждой цели набор из N−1 советов с подписью, от кого
ШАГ 4: Каждый агент пересматривает ответ, имея:
        свой ответ + чужие ответы + адресованные ему советы
        → может принять, отвергнуть или принять частично
ШАГ 5: Повторить шаги 2–4 на следующих раундах → итог голосованием

Шаги 3 и 4 в оригинале — отдельные запросы к модели. В обычном чате это можно только имитировать одним большим промптом (см. шаблон).

Задача: Селлер на Wildberries считает юнит-экономику новой толстовки. Три прогона модели дали три разные маржи, и непонятно, кому верить. Нужно, чтобы модели разобрали ошибки друг друга, а не просто проголосовали.

Промпт:

Ты ведёшь структурированную дискуссию трёх независимых экспертов (Эксперт_А, Эксперт_Б, Эксперт_В) по расчёту юнит-экономики. Каждый эксперт честно разбирает чужие рассуждения и сам решает, менять ли свой ответ.



Толстовка: цена на витрине 1 890 ₽, закупка 620 ₽, комиссия WB 19% от цены, логистика до покупателя 68 ₽, доля возвратов 12% (при возврате комиссия не удерживается, логистика и обратная логистика 50 ₽ тратятся), налог УСН 6% с выручки. Посчитай чистую прибыль на одну проданную единицу.



Эксперт_А: 412 ₽. Возвраты не учитывал, налог взял с цены после комиссии.
Эксперт_Б: 355 ₽. Возвраты учёл как потерю 12% выручки, налог — с полной цены.
Эксперт_В: 290 ₽. Возвраты учёл как потерю логистики и обратной логистики, налог — с полной цены.



Раунд 1. Совет каждому адресату (все пары, источник ≠ цель):
  Для каждой пары «Эксперт_X → Эксперт_Y»:
    - Прочитай ответ Эксперта_Y.
    - Найди конкретный шаг, допущение или расчёт и скажи, как он влияет на итог.
    - Форма свободная: поддержи верное, возрази против ошибки, дополни неполное или задай вопрос.
    - Не соглашайся из вежливости и не спорь ради спора.
Раунд 1. Пересмотр:
    - Каждый эксперт видит свой ответ, ответы остальных и советы, адресованные лично ему.
    - Он может принять совет, отвергнуть или принять частично, и обязан объяснить почему.
    - Выдай новый ответ каждого.
Итог: ответ по большинству. Если разногласие осталось, покажи, в каком именно допущении оно.

Результат: Модель покажет шесть адресных разборов (кто кого и что именно проверил), по два на каждого эксперта. Затем идут три пересмотра с пояснением, какой совет принят, а какой отвергнут. В конце — итоговая цифра и, если спор остался, указание на конкретное допущение (например, как считать возвраты). Ожидай разбор по шагам расчёта, а не общие слова вроде «проверь вычисления».

Слабость. Когда модель видит кучу чужих ответов и просьбу «обнови свой», у неё нет конкретной задачи. Самый простой сигнал — сколько ответов совпало. Поэтому верное меньшинство сдаётся, а ошибка так и остаётся: никто не обязан её найти. Одна лишь «более умная» инструкция пересмотра не помогает: вариант с тем же текстом, но без адресных советов, дал почти тот же результат, что обычные дебаты.

Сильная сторона. Модель хорошо проверяет конкретный текст: найти неверный шаг, оценить допущение, пересчитать. Это задача локальная, у неё есть объект проверки. Верное рассуждение при этом получает явное подтверждение, а не просто «один из ответов».

Как метод это использует. Он превращает общий вопрос «кто прав?» в N×(N−1) узких вопросов «где именно ошибся этот ответ?». Решение остаётся за адресатом, поэтому метод не навязывает споры, когда оппонент прав.

Рычаги управления: - Число агентов → меньше агентов: меньше пар, дешевле. Три агента дают 6 пар, четыре — 12. - Число раундов → в статье MAD выходит на плато, а TrueMAD продолжает расти к 5-му раунду. Для простых задач хватит одного-двух. - Типы совета (поддержка / возражение / уточнение / вопрос) → не сужай до «найди ошибку», иначе получишь искусственные споры. - Право адресата отвергнуть совет → не убирай, это защищает верный ответ от давления. - Подпись источника → оставляй имя автора каждого совета, чтобы адресат взвешивал его.

Ты ведёшь структурированную дискуссию между {число_агентов} независимыми экспертами ({имена_экспертов}) по задаче. Каждый эксперт честно разбирает чужие рассуждения и сам решает, менять ли свой ответ.



{задача_с_проверяемым_ответом}



{имя_эксперта_1}: {ответ_и_ключевые_допущения}
{имя_эксперта_2}: {ответ_и_ключевые_допущения}
{имя_эксперта_3}: {ответ_и_ключевые_допущения}



Повтори {число_раундов} раз:
  Шаг A. Советы (все упорядоченные пары, источник ≠ цель):
    Для каждой пары «Эксперт_X → Эксперт_Y»:
      - Прочитай ответ Эксперта_Y.
      - Найди конкретный шаг, допущение или расчёт и скажи, как он влияет на вывод.
      - Форма свободная: поддержка верного / возражение против ошибки / уточнение неполного / вопрос.
      - Не соглашайся из вежливости и не спорь ради спора.
  Шаг Б. Пересмотр:
      - Каждый эксперт видит свой ответ, ответы остальных и советы, адресованные лично ему (с указанием автора).
      - Он вправе принять, отвергнуть или принять частично, и объясняет почему.
      - Выдай обновлённый ответ каждого эксперта.
Итог: ответ по большинству. Если единого мнения нет, назови допущение, из-за которого разошлись.

Что подставлять. {задача_с_проверяемым_ответом} — задача, где есть расчёт или вывод, который можно проверить по шагам. {ответ_и_ключевые_допущения} — ответы из трёх независимых прогонов (новые чаты) вместе с допущениями, а не только итоговая цифра. {число_раундов} — для начала 1–2.

🚀 Быстрый старт — вставь в чат:

Вот шаблон TrueMAD (адресные советы между агентами в дебатах). Адаптируй под мою задачу: [твоя задача]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, в чём суть задачи, сколько экспертов нужно и есть ли у тебя готовые независимые ответы. Ещё она спросит, где обычно возникают разные допущения. Это нужно, чтобы советы были адресными: у каждого ответа должен быть конкретный шаг, который можно проверить. Она возьмёт структуру пар «источник → цель» из шаблона и подстроит под твою задачу.

⚠️ Нужны частично верные ответы: метод даёт больше всего, когда в группе есть верное меньшинство или у ответов есть верные куски. Если ошиблись все, адресные советы не вернут правильный ответ. Авторы прямо это оговаривают.

⚠️ Цена: число запросов растёт как N×(N−1) на раунд. В оригинале это отдельные вызовы модели. Один промпт-симуляция в чате не проверялась авторами и может работать слабее.

⚠️ Скромный прирост на простых и фактологических вопросах: на TruthfulQA, где большинство агентов и так отвечает верно, выигрыш небольшой. Основной эффект — на сложных задачах рассуждения.

⚠️ Только задачи с проверяемым ответом: проверяли математику, научные вопросы и правдивость. Для текстов, стратегии и креатива, где нет «верной цифры», метод не тестировали.

⚠️ Модели и полнота данных: основные опыты на одной не фронтирной модели (Qwen3-30B-A3B). Статья на рецензии, а предоставленный текст обрывается на анализе динамики дебатов, так что результаты по контролю числа вызовов и другим моделям здесь не видны.

Команда из Zhejiang University взяла четыре копии модели Qwen3-30B-A3B и пять раундов дебатов. Проверяли на трёх наборах: олимпиадная математика AIME (2024–2026), научные вопросы GPQA-Diamond и 200 вопросов TruthfulQA на правдивость. Сравнивали пять схем: обычные дебаты (MAD), «MAD с той же инструкцией, но без адресных советов» (promptMAD), вариант с разнообразием стратегий (DMAD) и их версии с надстройкой (TrueMAD, TrueDMAD). Каждый опыт повторяли на трёх случайных зёрнах.

Среднее улучшение точности отдельного агента — около +3,6 п.п. для TrueMAD над MAD и +4,7 для TrueDMAD над DMAD. На сложных вопросах, где в первом раунде ошибались минимум половина агентов, разрыв вырос до +7,1 и +8,6 п.п. Обычные дебаты к поздним раундам выходят на плато, а с советами точность продолжает расти.

Самое важное — контроль promptMAD. Та же формулировка инструкции без адресности почти не отличается от обычных дебатов. Значит, дело не в «более умном» промпте, а в том, что каждый обязан разобрать конкретный ответ конкретного коллеги. Удивило, что на лёгком TruthfulQA выигрыш минимален: когда большинство и так правы, давить на верное меньшинство нечему. Для практики отсюда следует: просить модель «пересмотри с учётом других мнений» — слабый ход, лучше требовать конкретный разбор чужого ответа.

💡 Адаптация для разных чатов (ручной вариант без одного большого промпта): возьми ответы от ChatGPT, Claude и Gemini на один сложный расчёт. В каждый чат вставь ответ другой модели с просьбой найти конкретный шаг и дать совет. Потом верни каждому его советы и попроси пересмотреть.

Задача: {задача}.
Вот чужой ответ на неё: {ответ_другой_модели}.
Найди конкретный шаг, допущение или расчёт, который влияет на итог. Если ответ верный — скажи, на чём он держится. Если нет — укажи, где ошибка и как её исправить. Можешь задать вопрос автору.

Это та же механика «источник → цель», но вручную. Не проверялось авторами: у них все агенты были копиями одной модели.

🔧 Техника: убрать право отказа → риск потерять верный ответ. В шаблоне пересмотр говорит «принять, отвергнуть или принять частично, объясни почему». Если заменить на «исправь ответ по советам», модель вернётся к режиму «подстраиваюсь под большинство». Оставляй адресату свободу.

• Beyond Answer Sharing: TrueMAD for Targeted Peer Engagement in Multi-Agent Debate (на рецензии).
• Авторы: Dezheng Bao, Sihang Du, Renhong Huang, Zhizhang Yuan, Yifei Sun, Yang Yang — Zhejiang University.
• Связанные работы из статьи: Du et al. 2024 и Liang et al. 2024 (базовые мультиагентные дебаты), Smit et al. 2024 и Wang et al. 2024 (прирост MAD объясняется голосованием), Estornell & Liu 2024 и Oh et al. 2025 (эхо-камеры и конформность), Liu et al. 2025 (DMAD).