TL;DR
Исследование проверило популярную идею «несколько агентов проверят друг друга, и ошибки отсеются». Взяли одну модель и три схемы коллаборации: панель из трёх экспертов с модератором, дебаты в два раунда и иерархию (предлагают → дорабатывают → итоговый агент). Галлюцинации считали не только в ответе, но и внутри объяснения, которое выдаёт система. Результат: коллаборация чаще повышает точность ответа, но галлюцинации в рассуждениях не снижает как правило. Ни одна схема не оказалась надёжно лучше других.
Что идёт не так на практике: ответ верный, а в обосновании есть выдуманные факты или утверждения, которых нет в исходном документе. Читатель видит убедительный текст и верит ему. Уровень галлюцинаций задаёт сама модель, а не схема и не число агентов. У сильной модели коллаборация слегка помогает, у слабой усиливает ошибки: агенты читают тексты друг друга и тащат неподтверждённое дальше, как «ложный консенсус». Увеличение числа агентов с трёх до семи почти ничего не меняет.
Практический вывод: не надеяться, что «агенты друг друга проверят». Нужно поставить самую сильную модель на финальную роль (итоговый агент, который читает всё и решает, что оставить) и проверять каждое утверждение в рассуждении по источнику. Если модель получила список своих ошибок, она их заметно чинит, но самая слабая модель в тесте не смогла починить ничего.
Схема метода
Это не одна техника, а набор проверенных решений. Вместе они образуют схему сборки надёжной проверки.
РЕШЕНИЕ 1: Не считать мультиагентность защитой от галлюцинаций
→ точность ≠ достоверность рассуждения
РЕШЕНИЕ 2: Самую сильную модель — в роль итогового агента (агрегатора)
→ слабый агрегатор над сильными агентами всё равно ошибается;
сильный агрегатор над слабыми поднимает результат почти до своего уровня
РЕШЕНИЕ 3: Не наращивать число агентов (3 → 7 почти ничего не даёт)
РЕШЕНИЕ 4: Проверять рассуждение по утверждениям:
ШАГ А: разбить объяснение на атомарные утверждения (по одному факту)
ШАГ Б: каждое сверить с источником → ПОДТВЕРЖДЕНО / ПРОТИВОРЕЧИТ / НЕТ В ИСТОЧНИКЕ
ШАГ В: проверить пары утверждений на взаимное противоречие
РЕШЕНИЕ 5: Показать модели её помеченные ошибки → переписать
(работает, если модель не совсем слабая)
Шаги А–В можно выполнить в одном промпте или в отдельных запросах.
Пример применения
Задача: Руководитель отдела в московской компании делает выжимку из договора аренды офиса на 40 страниц. Выжимку собирает мультиагентная связка, а решение по срокам и штрафам он будет принимать, опираясь на объяснения агентов. Нужно проверить, что в выжимке нет придуманных пунктов.
Промпт (отдельный чат, лучшая доступная модель):
Ты — аудитор фактов. Тебе даны ИСТОЧНИК (текст договора аренды) и ВЫЖИМКА (рассуждение, подготовленное другими агентами).
ШАГ 1. Разбей ВЫЖИМКУ на атомарные утверждения: одно утверждение — один факт. Раскрой местоимения («он», «это» → конкретные слова), сохрани отрицания. Повторы убери.
ШАГ 2. Для каждого утверждения найди опору в ИСТОЧНИКЕ и поставь метку:
- ПОДТВЕРЖДЕНО — в источнике есть прямое подтверждение (приведи цитату);
- ПРОТИВОРЕЧИТ — источник говорит обратное (приведи цитату);
- НЕТ В ИСТОЧНИКЕ — источник не подтверждает и не опровергает.
ШАГ 3. Возьми все пары утверждений. Могут ли два утверждения быть верными одновременно для этого договора? Выпиши пары, которые конфликтуют.
ШАГ 4. Выведи таблицу: № | утверждение | метка | цитата. Ниже — список проблемных утверждений (ПРОТИВОРЕЧИТ и НЕТ В ИСТОЧНИКЕ) и конфликтующих пар.
Не исправляй выжимку и не додумывай. Если сомневаешься — ставь НЕТ В ИСТОЧНИКЕ.
ИСТОЧНИК:
{текст_договора}
ВЫЖИМКА:
{выжимка_агентов}
Результат: Модель выдаст таблицу утверждений с метками и цитатами из договора. Ниже будет список проблемных утверждений и пар, которые противоречат друг другу. Затем вы возвращаете этот список агентам с просьбой переписать выжимку только на основе источника.
Почему это работает
Слабость LLM. Агенты в мультиагентной схеме читают тексты, написанные такой же моделью. Если один выдумал пункт, остальные читают его как «ещё одно мнение» и часто повторяют. Модель не может дать то, чего не знает: общение агентов не добавляет им знаний. Поэтому фактические выдумки с ростом числа агентов даже слегка растут.
Сильная сторона LLM. Сверить одно короткое утверждение с одним источником модель умеет хорошо. На такой проверке судья-модель в исследовании согласовалась с людьми-аннотаторами примерно так же, как люди друг с другом. А вот найти собственные ошибки «в целом» модель не умеет, зато исправляет их, когда ей указали место.
Как метод это использует. Проверка разбита на мелкие утверждения, и «в целом» оценивать не нужно. Сильная модель стоит там, где принимается финальное решение. Собственных ошибок слабая модель не видит, поэтому сначала помечает их аудитор, и только потом идёт исправление.
Рычаги управления: - Модель в финальной роли → главный рычаг. Замена только агрегатора снизила фактические противоречия у слабой модели примерно втрое. - Число агентов → не наращивай. Три агента ничем не хуже семи, токены дешевле. - Источник → чем строже ограничишь «только по тексту», тем яснее метка НЕТ В ИСТОЧНИКЕ. - Шаг 3 (пары) → оставь, если рассуждение длинное. У этой метрики судья согласовался с людьми хуже всего, так что на выводы по ней опирайся осторожно.
Шаблон промпта
Ты — аудитор фактов. Даны ИСТОЧНИК и РАССУЖДЕНИЕ (текст, подготовленный другим агентом или моделью).
ШАГ 1. Разбей РАССУЖДЕНИЕ на атомарные утверждения: одно утверждение — один факт. Раскрой местоимения, сохрани отрицания, убери повторы.
ШАГ 2. Сверь каждое утверждение с ИСТОЧНИКОМ. Метки:
- ПОДТВЕРЖДЕНО (+ цитата)
- ПРОТИВОРЕЧИТ (+ цитата)
- НЕТ В ИСТОЧНИКЕ
ШАГ 3. Проверь пары утверждений: могут ли оба быть верными одновременно для {объект_описания}? Выпиши конфликтующие пары.
ШАГ 4. Выведи таблицу: № | утверждение | метка | цитата. Затем — список проблемных утверждений и конфликтующих пар.
Не исправляй текст и не додумывай. При сомнении — НЕТ В ИСТОЧНИКЕ.
ИСТОЧНИК:
{источник}
РАССУЖДЕНИЕ:
{рассуждение}
Подставляйте:
- {источник} — документ, на который должен опираться ответ;
- {рассуждение} — объяснение, которое выдала модель или мультиагентная связка;
- {объект_описания} — «этого договора», «этого пациента», «этого клиента».
Для мультиагентной связки закрепите ещё одно правило: финальную роль отдавайте самой сильной модели, а число агентов держите минимальным.
🚀 Быстрый старт — вставьте в чат:
Вот шаблон аудита фактов. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что считать источником, какого формата рассуждение вы проверяете и какие утверждения критичны (цифры, сроки, суммы). Эти вопросы нужны, потому что метод работает на сверке утверждения с конкретным источником. Без чёткого источника метка «нет в источнике» теряет смысл.
Ограничения
⚠️ Мультиагентность не гарантирует достоверность: схема сама по себе чаще не снижает, а у слабых моделей повышает долю выдуманных и противоречащих утверждений. Выигрыш в точности ответа не равен выигрышу в достоверности объяснения.
⚠️ Слабая модель не лечится коллаборацией: самая маленькая модель в тесте при дебатах была худшей, а после показа собственных ошибок вообще не снизила галлюцинации. Если в схеме только слабые модели, схема не поможет.
⚠️ Аудит не заменяет источник: метки НЕТ В ИСТОЧНИКЕ не говорят, что утверждение ложное. Они говорят только, что документ его не подтверждает. Для критичных решений (медицина, право, деньги) смотрите цитаты вручную.
⚠️ Проверка логических противоречий шумнее остальных: судья согласовался с людьми хуже всего именно на этой метрике. Используйте шаг 3 как подсказку, а не как приговор.
⚠️ Эксперимент ограничен: режим рассуждений в моделях был выключен, прогон в каждой ячейке один, часть разниц статистически не отличима от нуля. Задачи были клиническими: перенос на тексты, договоры и аналитику логичен, но напрямую не проверялся. Часть результатов про самокоррекцию я пересказываю по резюме статьи: основной текст в предоставленном фрагменте обрывается.
Как исследовали
Команда взяла четыре модели от маленькой Llama-3.2-3B до GPT-5.4-mini и четыре системы: одиночную модель и три мультиагентные схемы. Всё прогнали на трёх клинических задачах: экзаменационные вопросы, вопросы по выписке пациента и поиск неподтверждённых фраз в выписках. Каждая комбинация обработала по 200 примеров. Главная находка в том, как считали: объяснение системы дробили на атомарные утверждения и каждое проверяли судьей-моделью против источника и против корпуса медицинских текстов. Судью предварительно сверили с двумя людьми-аннотаторами.
Что удивило. Между моделями связь сильная: чем точнее, тем меньше галлюцинаций. Внутри одной модели, когда менялась только схема, связь пропадает. Из 36 сравнений «мультиагент против одиночной» достоверно различались 12: четыре улучшения (все у GPT-5.4-mini) и восемь ухудшений (у остальных трёх). Ни одна модель не оказалась по обе стороны. Рост числа агентов с трёх до семи ничего не изменил. А замена только итогового агента на GPT-5.4-mini резко снизила галлюцинации у слабых моделей. При этом система выходила примерно на уровень GPT-5.4-mini, но не выше.
Логика вывода: коллаборация перераспределяет то, что модели уже умеют, и не добавляет недостающего. Отдельный эксперимент по самокоррекции согласуется с этим: показанные собственные ошибки сокращают галлюцинации у всех моделей, кроме самой слабой, а выигрывает больше всех та модель, которой коллаборация помогает.
Адаптации и экстраполяции
🔧 Техника: убрать «Не исправляй» и добавить второй проход → аудит + починка
После таблицы добавьте в тот же чат:
Теперь перепиши РАССУЖДЕНИЕ, оставив только утверждения со статусом ПОДТВЕРЖДЕНО. Для утверждений ПРОТИВОРЕЧИТ дай исправленную версию с цитатой из источника. Утверждения НЕТ В ИСТОЧНИКЕ убери или пометь «требует проверки».
Это повторяет логику эксперимента с самокоррекцией: модели показали её ошибки, и она их исправила. Работает, если модель достаточно сильная.
Экстраполяция: аудитор и автор — разные модели.
Если в автоматизации или агентной связке пишет слабая и дешёвая модель, назначьте аудитором самую сильную из доступных:
Роль «Автор»: быстрая дешёвая модель, готовит черновик с рассуждением.
Роль «Аудитор» (самая сильная модель): получает ИСТОЧНИК + черновик, выполняет шаги 1–4 из шаблона.
Роль «Итог»: та же сильная модель; пишет финал, используя только ПОДТВЕРЖДЕНО.
В статье отдельно проверена только замена итогового агента, поэтому остальное считайте гипотезой, которую нужно проверить на своих данных.
Ресурсы
- Название: Does Multi-Agent Collaboration Reduce Hallucination in Clinical Tasks?
- Авторы: Won Seok Jang, Harry Bhaskar Joshi, Hong Yu — University of Massachusetts Lowell.
- Использованные работы: FActScore (Min et al., 2023: разбиение на атомарные утверждения); таксономия галлюцинаций Huang et al. (2025); Multi-Agent Debate (Du et al., 2023); MDAgents (Kim et al., 2024); Mixture-of-Agents (Wang et al., 2024); MedRAG (Xiong et al., 2024).
- Датасеты: MedExpQA, EHRNoteQA, Hallucinations-MIMIC-DI.