TL;DR
Исследование показывает, как правильно (и неправильно) передавать итог обсуждения нескольких LLM-агентов финальному «решателю». Два очевидных правила отбора фактов для сводки оба ломаются: «оставляй редкое» и «оставляй релевантное». Решение модели следует балансу доказательств за и против, который попал в сводку, а не правилу, по которому сводку собирали. Отдельная находка: пометки «этот факт назвали агенты 1, 2, 3, 4» работают как социальное доказательство (эффект «если многие так говорят, то это важнее»). Если пометки убрать, точность в проблемном сценарии растёт на 13–24 пункта.
Боль знакома тем, кто собирает цепочки агентов. Три агента-аналитика обсудили поставщика. Сводку отдали четвёртому. Он выбрал не того, хотя все нужные факты в обсуждении прозвучали. Причин три. Правдивый, но однобокий факт («прошёл все проверки», но умолчали, что девять дней не отвечал на аварийные вызовы) сдвигает решение без единой лжи. Фильтр «по теме» пропускает ловушки: правдивые факты по теме, которые тянут к неверному варианту. А факты, которые повторили несколько агентов, модель считает весомее, хотя их просто раздали всем одинаково.
Практический вывод: в инструкции для того, кто пишет сводку, нужно требовать сохранять факты за и против по каждому варианту и не указывать, кто что сказал. А финальный агент должен получать сводку, где баланс виден. Отбор «по редкости» или «по релевантности» этого не гарантирует.
Схема метода
Статья не предлагает единого метода. Это набор проверенных правил. Ниже схема передачи работы, которая из них следует.
ШАГ 1: Агенты обсуждают задачу → полный транскрипт
ШАГ 2: Отдельный вызов-«сводщик» сжимает обсуждение → список фактов
БЕЗ имён авторов и счётчиков «сказали N агентов»,
с фактами за И против каждого варианта
ШАГ 3: Финальному агенту отдаём только: задачу + варианты + сводку
(не весь транскрипт)
Шаги 2 и 3 — отдельные запросы. В исследовании решение принимал отдельный вызов, который видел только описание, варианты и память.
Пример применения
Задача: Селлер на Ozon выбирает поставщика упаковки для хрупкого товара. Три агента-аналитика изучили кандидатов (по ценам, срокам и отзывам). Они поспорили, и теперь нужна сводка для финального агента, который назовёт победителя. Метод сильнее всего там, где решение строится на сумме разнонаправленных фактов. Для таких задач он и подходит.
Промпт для «сводщика»:
Ты готовишь сводку обсуждения для человека, который примет финальное решение
и не видел спора. Выбор: поставщик упаковки для хрупкого товара на Ozon.
Варианты: «ПакетПро» (Москва), «КартонСиб» (Новосибирск), «ЭкоБокс» (Казань).
Ниже — обсуждение трёх аналитиков:
{транскрипт}
Правила сводки:
1. Выпиши ВСЕ различные факты о вариантах — отдельными строками.
2. Для каждого факта укажи, в пользу какого варианта он говорит и какого против.
3. Сохраняй неудобные факты наравне с удобными. Ничего не отбрасывай
только потому, что он «не по теме» или «его назвал один человек».
4. НЕ указывай, кто из аналитиков что сказал. НЕ пиши «все согласились»
или «мнение большинства». Один факт — одна строка, без счётчика сторонников.
5. Если аналитики расходятся, запиши оба утверждения и условия, при которых каждое верно.
6. В конце — таблица: вариант | факты «за» | факты «против».
Результат: Модель выдаст нумерованный список фактов без имён авторов. У каждого факта будет отметка, кому он помогает или вредит. В конце будет таблица баланса по трём поставщикам. Финальный агент получит нейтральную картину, а не «мнение большинства».
Почему это работает
Слабость. Модель-решатель не оценивает факты по отдельности, а как бы суммирует перевес. Поэтому любая сводка, которая искажает пропорцию «за и против», сдвигает ответ. Отбор «по редкости» работает только тогда, когда редкие факты случайно оказались полезными. Отбор «по релевантности» пропускает ловушки, потому что ловушка тоже относится к критериям. Даже идеальный фильтр релевантности проигрывал редкости 23–31 пункт в классическом сценарии (полезные факты у отдельных агентов, ловушки общие).
Сильная сторона. Модель хорошо считает баланс, когда он перед глазами. В статье точность росла почти ровно с чистым перевесом верного варианта: около 10–13% при перевесе −2 против 96% при +4 и больше. Если баланс собран честно, дальше способ отбора почти ничего не добавлял.
Как метод использует это. Сохраняем факты в обе стороны и убираем пометки авторства. Тогда у модели нет повода придавать лишний вес «многократно названному» факту. Остаётся только содержание.
Рычаги управления: - Пометки авторства → убери, чтобы устранить эффект «большинства». Если нужна прослеживаемость, держи её в отдельном месте, а не в строках, которые читает решатель. - Правило 3 (неудобные факты) → усиливай для рискованных решений: найм, закупки, юридические выводы. - Таблица «за/против» → убери для простых задач, оставь для спорных. - Лимит длины сводки → чем строже, тем выше риск потерять нужный факт. Для критичных решений не режь.
Шаблон промпта
Точный промпт сводки в статье не приведён в основном тексте. Шаблон ниже собран по её описанию «evidence-preserving summary» (сохранять каждое доказательство с условиями, неопределённостью и разногласиями) плюс найденное правило про пометки авторства.
Ты составляешь нейтральную сводку обсуждения для человека, который примет
финальное решение и не видел спора.
Решение: {что_выбираем}
Варианты: {список_вариантов}
Критерии: {критерии_через_запятую}
{транскрипт_обсуждения}
1. Выпиши каждый различный факт отдельной строкой.
2. Для каждого факта: какому варианту он помогает, какому вредит.
3. Сохраняй условия, неопределённость и разногласия: если мнения расходятся,
запиши обе версии.
4. Не отбрасывай факт за то, что он «побочный» или «его назвал один».
5. Не указывай авторов и не пиши «все согласны», «большинство считает».
6. Сначала факты, потом таблица: вариант | за | против.
Выводов и рекомендаций не делай.
Что подставлять: {что_выбираем} — суть решения, {список_вариантов} — 2–5 вариантов, {критерии} — по чему сравниваем, {транскрипт_обсуждения} — текст спора или заметки агентов.
🚀 Быстрый старт — вставь в чат:
Вот шаблон нейтральной сводки для передачи итога обсуждения финальному решателю.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какое решение принимается, какие варианты и критерии, откуда берётся обсуждение. Это нужно, чтобы правило «факты за и против каждого варианта» привязалось к реальным вариантам. Остальное она возьмёт из шаблона.
Ограничения
⚠️ Синтетический бенчмарк: обсуждения в основных тестах были написаны по сценарию, каждый агент по очереди называл свои факты. Правильный ответ выводился по жёсткому правилу: каждый «за» даёт +1, «против» −1. В реальных решениях веса фактов неравны.
⚠️ Естественные обсуждения: когда агенты спорили свободно, ни одна политика отбора не выигрывала у остальных. Полный транскрипт дал точность ниже, чем отсутствие заметок. Значит, часть доказательств теряется ещё до сводки: их просто не называют. Хорошая сводка этого не исправит.
⚠️ Сводка «по правилам» не панацея: сводка с сохранением доказательств в классической конфигурации показала только 51–59% против 88% у отбора по редкости. Правила про баланс и теги в промпте сводщика авторы напрямую не проверяли.
⚠️ Малые и не самые свежие модели: основные тесты шли на двух открытых моделях 7–8 млрд параметров и двух моделях DeepSeek. Флагманские модели могут вести себя мягче.
⚠️ Текст статьи неполный: часть раздела про пометки авторства оборвана. Цифры взяты из аннотации и основной части.
Как исследовали
Авторы увидели проблему в известном бенчмарке: там редкие факты совпадают с полезными, поэтому «оставляй редкое» выглядит гениальным. Они построили CrossProfile: 60 шаблонов решений, в каждом 12 фактов (5 в пользу верного варианта, 3 «ловушки», 4 нерелевантных). Каждую группу фактов поочерёдно делали общей для всех четырёх агентов или личной для одного. Получилось 8 вариантов и 480 задач при неизменном тексте фактов.
Дальше сравнили политики сжатия: «редкое сначала», «релевантное сначала» (в том числе с идеальным «оракулом» релевантности), «первое упомянутое», случайный выбор и саммари. Прогоняли на Qwen2.5-7B, Llama-3.1-8B и двух DeepSeek. Редкость оказалась не лучше случайного выбора в среднем: она выигрывает, только когда ловушки у многих, и проигрывает, когда они у единиц. Релевантность в классическом случае теряла 20–32 пункта даже с идеальным фильтром. Удивило, что полный набор фактов (без сжатия) показал в этом случае лишь около 55%, хотя баланс был в пользу верного ответа. Оказалось, дело в пометках «сказали 4 агента». Их убрали или перемешали случайно при том же порядке строк, и точность выросла на 13–24 пункта. Это отделило эффект пометок от эффекта позиции в тексте.
Главный практический вывод: смотри не на политику отбора, а на то, какой баланс «за/против» получает решатель.
Адаптации и экстраполяции
🔧 Техника: просить явный подсчёт баланса → защита от скрытого перекоса
Это моя адаптация, в статье её нет. Добавь в промпт финальному агенту:
Прежде чем выбрать, для каждого варианта посчитай факты «за» и «против»
из сводки и покажи разницу. Затем выбери и объясни, что перевесило.
Цель: если сводка перекошена, перекос станет виден, а не растворится в ответе.
Ресурсы
- Работа: Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions
- Авторы: Anouar Imel (UESTC), Imad Charradi (Xidian University), Abderrahman Sghir (Nanjing University of Aeronautics and Astronautics), Khalil El Khammar (Nanjing University of Information Science and Technology)
- Бенчмарк CrossProfile (60 шаблонов, 480 задач); связанный бенчмарк HiddenBench (Li, Naito, Shirado 2026); классика: Stasser & Titus 1985 про эффект общего знания