TL;DR
BP-TD — метод агрегации ответов нескольких ИИ-агентов без размеченных эталонов, который вводит понижающие веса декорреляции ($w_a$) для агентов, построенных на одной и той же базовой модели или слишком часто совпадающих в ответах, чтобы целое семейство однотипных агентов суммарно весило как один голос, а не подавляло остальных числом. При этом уже первая итерация алгоритма (one-pass) сводится к простому взвешенному голосованию по семействам моделей и даёт почти весь прирост точности без сложных вычислений.
Когда практики собирают «совет агентов» или жюри для проверки задач — например, создают трёх агентов с разными ролями («скептик», «эксперт», «осторожный аналитик»), добавляют обёртку с поиском (RAG) и проверку через самосогласованность (self-consistency) на базе одной доступной модели и ставят их в пару с одной-двумя другими моделями, — обычное голосование большинством и классические алгоритмы поиска истины ломаются. Агенты на одном движке допускают одинаковые, скоррелированные ошибки. Если такое семейство составляет численное большинство в пуле, оно дружно голосует за один и тот же неверный ответ, а классические алгоритмы оценки надёжности видят их единодушие и ошибочно назначают самых слабых клонов «самыми надёжными экспертами».
Метод решает эту проблему двумя способами: либо делит вес голоса каждого агента на число агентов того же базового семейства (структурный режим family: 4 агента на одной модели получают вес по $1/4$), либо снижает вес пропорционально числу «соседей», чьи ответы совпадают выше порога (эмпирический режим cooccur без знания моделей). А главное практическое правило исследования гласит: декорреляция спасает, когда самый многочисленный блок агентов слабее остальных, но если у вас есть возможность разметить хотя бы двадцать тестовых вопросов, то выбор одного лучшего агента по этой мини-выборке стабильно обыгрывает любые алгоритмы коллективного голосования.
Схема метода
ВАРИАНТ А (Быстрый однопроходный режим One-Pass Weighted Vote — без итераций):
ШАГ 1: Сгруппировать агентов по базовой LLM (режим family) или по доле совпадения их ответов ≥ θ (режим cooccur)
ШАГ 2: Назначить каждому агенту вес wa = 1 / (размер его группы), чтобы вся группа однотипных агентов в сумме давала ≈ 1 голос
ШАГ 3: Для каждого вопроса сложить веса wa за выбранные варианты ответа → побеждает вариант с максимальной суммой весов
ВАРИАНТ Б (Полный итеративный цикл BP-TD + калибровка на 20 примерах):
ШАГ 1–2: Вычислить веса декорреляции wa ДО запуска оценки истинности (не опираясь на текущий консенсус)
ШАГ 3: В цикле (7–20 итераций) чередовать обновление веры в правильный ответ bq(v) с учётом весов wa и пересчёт надёжности каждого агента ra со сглаживанием по графу согласия
ПРАВИЛО ВЫБОРА РЕЖИМА: Если доступны ≥ 20 размеченных вопросов → проверить точность каждого агента отдельно и выбрать 1 лучшего агента вместо голосования пула
Расчёт весов и голосование выполняются в внешнем скрипте-агрегаторе (или в промпте судьи-оркестратора) после получения ответов от отдельных агентов.
Пример применения
Задача: Команда автоматизирует модерацию и классификацию сложных карточек товаров и жалоб на российском маркетплейсе (выбор одной из 4 категорий нарушения правил площадки). В конвейере уже крутятся 6 быстрых дешёвых агентов на базе одной локальной модели (три ролевые персоны — «юрист», «модератор», «защитник селлера», плюс прямой промпт, RAG по справке и агент с самосогласованностью), а также по одному агенту на трёх других независимых моделях. При обычном голосовании большинством 6 агентов первой модели постоянно продавливают одинаковую ошибку в спорных кейсах.
Промпт (для агента-агрегатора или оркестратора, подводящего итог голосования по правилу BP-TD family one-pass):
Ты — модуль агрегации ответов мультиагентного конвейера по методу декорреляции семейств (BP-TD Family Weighted Vote).
Контекст проблемы:
Несколько агентов, работающих на одной и той же базовой LLM (даже с разными ролями, системными промптами или RAG), совершают скоррелированные ошибки. Нельзя считать их голоса независимыми.
Входные данные по спорной карточке товара #88412 (варианты категории: A, B, C, D):
Группа 1 (базовая модель Llama-3.2 — всего 6 агентов в семействе):
- Агент 1 (персона «Юрист»): вариант B
- Агент 2 (персона «Модератор»): вариант B
- Агент 3 (персона «Скептик»): вариант B
- Агент 4 (прямой запрос): вариант B
- Агент 5 (RAG по правилам площадки): вариант B
- Агент 6 (Self-Consistency): вариант A
Группа 2 (базовая модель Qwen-2.5 — всего 2 агента в семействе):
- Агент 7 (14B прямой запрос): вариант A
- Агент 8 (7B RAG): вариант A
Группа 3 (базовая модель Mistral — 1 агент в семействе):
- Агент 9 (прямой запрос): вариант A
Группа 4 (базовая модель Gemma-2 — 1 агент в семействе):
- Агент 10 (прямой запрос): вариант C
Инструкция расчёта:
1. Сгруппируй всех ответивших агентов по их базовому семейству моделей (base_model_family).
2. Назначь каждому агенту вес декорреляции: w_a = 1 / N_family, где N_family — число агентов этого семейства, давших ответ на вопрос (сумма весов внутри одного семейства должна равняться 1.0).
3. Подсчитай взвешенную сумму голосов для каждого варианта ответа (A, B, C, D) и сравни результат с наивным большинством голосов.
4. Выведи таблицу расчёта весов и итоговое решение.
Результат: Модель-оркестратор покажет наглядный перелом результата: при наивном голосовании большинством победил бы неверный вариант B (5 голосов из 10 против 4 за A), потому что 5 клонов на одной модели перевесили остальных. Но после декорреляции по семействам каждый из 6 агентов первой группы получает вес $1/6 \approx 0{,}167$, поэтому 5 голосов за B превращаются всего в $5 \times (1/6) = 0{,}833$ балла, тогда как вариант A набирает $1/6$ (от шестого агента первой группы) + $2 \times (1/2) = 1{,}0$ (от группы Qwen) + $1{,}0$ (от Mistral) = $2{,}167$ балла и уверенно побеждает.
Почему это работает
Главная ошибка при сборке мультиагентных систем — иллюзия разнообразия ролей. Практикам кажется, что если дать одной и той же модели три разных системных промпта («ты строгий аудитор», «ты креативный директор», «ты придирчивый клиент»), то получатся три независимых эксперта. На деле базовые знания и слепые зоны у них общие: там, где базовая модель чего-то не знает или ведёт себя предвзято, все три персоны дружно выдадут одну и ту же ошибку. Ещё хуже ведут себя алгоритмы, которые пытаются угадать «общие ошибки» (shared_error) относительно текущего мнения большинства: когда зависимый блок агентов сам составляет большинство, его коллективное заблуждение и становится консенсусом, поэтому алгоритм считает их ответы безошибочными и вообще перестаёт их штрафовать.
BP-TD разрывает этот порочный круг тем, что вычисляет веса декорреляции до оценки правильности ответов и независимо от консенсуса — либо по паспорту базовой модели (family), либо по сырой частоте совпадения ответов между парами агентов (cooccur). В результате пачка из пяти вариантов одной модели сжимается до одного эффективного голоса, и в итеративном пересчёте надёжности сильные, но малочисленные модели перестают тонуть под весом клонов.
Рычаги управления для практики:
- Выбор между family и cooccur — если вы сами собирали пайплайн и знаете, какая модель крутится внутри каждого агента, используйте структурную формулу $w_a = 1/|\text{family}(a)|$ (она бесплатна и не требует гиперпараметров); если ответы приходят от «чёрных ящиков» с неизвестным движком behind API, считайте матрицу совпадения ответов с порогом $\theta = 0{,}5$ или автоматическим порогом Оцу (Otsu).
- Однопроходный режим (One-Pass) вместо итераций — если не нужно ранжировать агентов по рейтингу надёжности, достаточно одного шага взвешенного голосования ($T = 1$), который даёт практически ту же точность.
- Золотое правило 20 примеров — вместо запуска десятка агентов на каждый запрос дешевле и точнее один раз разметить 20 типовых задач своего домена, прогнать кандидатов и оставить в продакшене одного лучшего агента.
Шаблон промпта
Ты — арбитр мультиагентного ансамбля, применяющий правило декорреляции зависимых агентов (BP-TD).
Задача, которую решали агенты:
{описание_задачи_и_вариантов_ответа}
Ответы агентов с указанием их базового семейства моделей:
{список_агентов_семейств_и_ответов}
Правила агрегации:
1. Определи группы зависимости: объедини всех агентов, использующих одну и ту же базовую модель (даже если у них разные промпты, роли, температура или RAG-обвязка), в одно семейство. Примечание: два разных размера одной линейки моделей (например, 7B и 14B одного семейства) также относятся к одному семейству.
2. Рассчитай вес голоса каждого ответившего агента по формуле:
w_a = 1 / (количество ответивших агентов в его семействе на данном вопросе).
Агентов, которые воздержались или не дали валидного ответа, исключи из расчёта.
3. Для каждого варианта ответа просуммируй веса w_a проголосовавших за него агентов.
4. Укажи, отличается ли взвешенный победитель от простого большинства голосов, и выведи итоговый ответ.
Что подставлять в плейсхолдеры:
- {описание_задачи_и_вариантов_ответа} — вопрос и дискретный набор вариантов (например, категории классификации, варианты решения A/B/C/D или бинарный вердикт да/нет).
- {список_агентов_семейств_и_ответов} — перечень агентов, указание базового семейства LLM для каждого и выбранный им вариант.
🚀 Быстрый старт — вставь в чат:
Вот шаблон декорреляции голосов ИИ-агентов BP-TD. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие модели и ролевые обёртки входят в ваш пул агентов и есть ли у вас проверочная выборка хотя бы на 20 задач — потому что состав пула определяет, нужно ли сжимать голоса однотипных агентов или наоборот не мешать вашей самой сильной модели.
Ограничения
⚠️ Декорреляция вредит, если самый большой блок клонов построен на вашей лучшей модели: Если большинство агентов в пуле работают на вашей самой умной флагманской модели, а остальные — на слабых моделях для «разнообразия», сжатие голоса главного блока до единицы передаст власть слабым моделям и уронит точность.
⚠️ Без размеченных данных невозможно заранее узнать, в каком режиме находится пул: Перебор тысяч комбинаций агентов показал, что ни одна метрика без эталонных ответов (включая энтропию, долю согласия или спектральные свойства матрицы ответов) не способна надёжно угадать, является ли крупнейший блок агентов самым слабым или самым сильным.
⚠️ Только для задач с дискретным выбором ответов: Алгоритм работает, когда агенты выбирают вариант из конечного списка (классификация, тесты, выбор лучшего варианта
A/B/C/D), и напрямую не склеивает свободные развёрнутые тексты.
Как исследовали
Исследовательница проверила, что происходит с классическими алгоритмами поиска истины (Dawid–Skene, TruthFinder, Investment, CRH, CATD, LTM) и современными методами агрегации LLM (CARE-SVD, ISP, OW-I), когда ответы дают не независимые люди-разметчики, а 13 локальных ИИ-агентов на базе 5 семейств моделей (qwen2.5:14b и 7b, llama3.2, mistral:7b, phi3.5, gemma2:2b), включая ролевые персоны («осторожный», «эксперт», «скептик»), RAG-обёртки и цепочки самосогласованности, на четырёх бенчмарках (MMLU, SciQ, TruthfulQA и ARC-Challenge с масштабированием MMLU до 5 000 и 10 000 вопросов). На MMLU, где крупнейшая группа из 6 агентов на базе llama3.2 имела низкую точность (0,434–0,487), а 4 агента на базе qwen2.5 — высокую (0,756–0,825), все классические алгоритмы провалились ниже простого большинства голосов (0,513 у классического вероятностного вывода против 0,624 у большинства голосов) и перевернули рейтинг надёжности вверх ногами, объявив слабых агентов llama3.2 самыми надёжными из-за их взаимного согласия! Введение декорреляции BP-TD без единого размеченного примера подняло точность на MMLU с 0,624 до 0,716–0,717 (и до 0,751 при настройке порога $\theta$, сохранив перевес 0,707 против 0,674 на 10 000 вопросов), причём один-единственный проход взвешенного голосования по семействам (one-pass) дал 0,717 — столько же, сколько полный итеративный цикл. Чтобы честно проверить границы метода, автор прогнала 2 852 подмножества агентов по всем четырём датасетам и доказала строгий закон: декорреляция помогает тогда и только тогда, когда крупнейший зависимый блок слабее остальных агентов, а при наличии всего 20 размеченных вопросов простой выбор одного лучшего агента побеждает абсолютно все протестированные методы агрегации на MMLU, ARC и TruthfulQA.
Адаптации и экстраполяции
🔧 Техника: Аудит мультиагентного пайплайна на 20 золотых примерах перед запуском ансамбля → защита от бессмысленных трат на токены
Прежде чем внедрять голосование из 5–10 агентов в продакшен, выполните проверочный протокол из статьи:
ШАГ 1: Соберите 20 реальных рабочих примеров вашей задачи с известным правильным ответом. ШАГ 2: Прогоните по ним каждого кандидата-агента по отдельности. ШАГ 3: Если один сильнейший агент на этих 20 примерах обходит голосование пула — отключите остальных агентов (экономия бюджета в N раз при более высокой точности). ШАГ 4: Если вы всё же объединяете несколько моделей без эталонной разметки, никогда не давайте нескольким промпт-персонам одной базовой модели больше 1 суммарного голоса.
Ресурсы
- Исследование: Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version) (arXiv:2611.04805v1, принято на IEEE BigData 2026)
- Код, ответы агентов и скрипты: https://github.com/LaureBerti/BPTD и архив Zenodo (DOI:
10.5281/zenodo.21294747/10.5281/zenodo.23916537) - Автор: Laure Berti-Equille (IRD, ESPACE-DEV, Montpellier, France)