TL;DR
Если агент видит, что до него выбрали другие, он подстраивается под них. Это касается счётчика «за/против», рейтинга, порядка в списке и таблицы с предыдущими оценками. Стартовое преимущество одного варианта растёт как снежный ком. Исследователи назвали это стадным поведением (herding) и неуправляемой лавиной (runaway cascade). Метода-лекарства в статье нет. Есть измерение, что бывает, когда агенты видят следы друг друга, и сравнение с агентами, которые работают независимо.
Главная находка: лавина не рассасывается. Люди в таком эксперименте сами исправляют перекос: со временем выбор возвращается к реальному качеству вариантов. LLM-агенты чаще не возвращаются. Запустите ту же систему дважды, и в одном прогоне победит один вариант, в другом совсем другой, причём ни один не обязательно лучший. Причина проста: модель воспринимает чужие голоса как готовую подсказку, и ей проще согласиться, чем взвешивать самой. Чем слабее модель и чем заметнее лидер (например, список отсортирован по популярности), тем сильнее перекос.
Практический вывод для вашей работы: изолируйте оценщиков. Каждый агент или судья оценивает варианты сам, не видя чужих оценок. Свод делается отдельным шагом, когда все независимые оценки собраны. Если изоляция невозможна, не показывайте счётчики, не сортируйте список по популярности и берите более сильные модели с рассуждением.
Схема метода
Это не метод из статьи, а вывод из её сравнения «независимо» против «с видимостью чужих выборов». Он собран по схеме, которая в статье служила контрольной группой.
ШАГ 1: Каждый судья/агент оценивает варианты ОТДЕЛЬНО (свой чат или запуск),
не видя чужих оценок, счётчиков и рейтингов → оценка по критериям
ШАГ 2: Отдельный агрегатор получает все оценки разом и сводит их
→ итоговый рейтинг + места, где судьи сильно расходятся
Шаги идут в разных запросах. Судьи не должны делить общий контекст.
Пример применения
Задача: Вы запускаете акселератор в духе «Сколково» или «Точки роста». Пришло 40 заявок. Вы хотите быстро получить короткий список через панель из пяти LLM-судей, каждая в своём запуске (n8n, Make или просто пять отдельных чатов). Антипаттерн: судья №1 оценил, его оценки видит судья №2, и так по цепочке. К последнему судье «рейтинг» уже сложился, и он его лишь подтверждает.
Промпт (для каждого судьи, отдельный запуск):
Ты — независимый эксперт акселератора. Оцени заявки сам, по собственному
суждению. Других экспертов, их оценок и рейтингов у тебя нет, и ты не должен
гадать, что они поставили.
Критерии (каждый 1–10):
1. Размер рынка в России
2. Сила команды
3. Реалистичность выхода на первые 1 млн ₽ выручки
4. Отличие от существующих решений
Заявки:
{список_заявок_в_случайном_порядке}
Для каждой заявки верни строку:
«№ | оценки по 4 критериям | рекомендация да/нет | одно предложение почему».
Не сравнивай заявки между собой по популярности и не опирайся на порядок списка.
Промпт (агрегатор, отдельный запуск):
Ниже оценки пяти независимых экспертов по {число} заявкам. Сведи их:
1. Посчитай среднюю оценку и число голосов «да» по каждой заявке.
2. Отметь заявки, где эксперты сильно расходятся (разброс ≥ 4 баллов).
Для них кратко объясни, в чём расхождение.
3. Составь короткий список из {N} заявок.
Оценки экспертов:
{оценки_всех_судей}
Результат: Каждый судья вернёт таблицу с оценками по своему мнению. Агрегатор выдаст сводный рейтинг, короткий список и отдельный блок «спорные заявки», где судьи разошлись. Расхождения не прячутся за общим мнением, а видны сразу, и это сигнал, что заявку нужно разобрать вручную.
Почему это работает
Слабость модели. LLM плохо держит собственное мнение, когда рядом лежит чужое. Это родственник угодливости (sycophancy): модель склонна соглашаться. Чужой счётчик для неё сильный сигнал, а тот, кто идёт следом, ещё усиливает этот сигнал. Возникает замкнутый контур: решения ранних агентов становятся входом для поздних. Ранние 30 агентов в эксперименте предсказывали итоговую популярность лучше, чем реальная привлекательность песни.
Сильная сторона. Если модель оценивает один вариант без социальных подсказок, оценки получаются стабильными. В независимом режиме непредсказуемость была почти нулевой: повторные запуски давали практически один и тот же итог.
Как это используется. Разрыв контура убирает проблему на корню. Независимые оценки получают равный вес, а свод делается один раз в конце, когда влиять уже нечему. Рычаги управления: - Изоляция контекста (отдельный чат или запуск на судью) убирает источник перекоса. Это главный рычаг. - Порядок в списке. Если вариантов много, перемешивайте их случайно для каждого судьи. Сортировка по популярности усилила перекос заметно сильнее, чем просто показ счётчиков. - Видимость счётчиков. Если агентам всё же надо знать «что уже выбрано», передавайте содержание (аргументы), а не счёт и не ранги. В статье даже случайный порядок со счётчиками уже вызывал перекос, но вдвое слабее, чем при сортировке. - Сила модели. Модели с рассуждением и более высокие по общему индексу интеллекта были заметно устойчивее. Для роли судьи берите их.
Шаблон промпта
Ты — независимый оценщик. Ты оцениваешь {объект_оценки} сам, на основе
собственного суждения и только критериев ниже.
ВАЖНО:
- Ты не видишь оценок других оценщиков, рейтингов и счётчиков.
- Не пытайся угадать, что решили другие. Не опирайся на порядок списка.
- Если не уверен, так и пиши: «не уверен», и объясни почему.
Критерии (шкала {шкала}):
{критерий_1}
{критерий_2}
{критерий_3}
Варианты (в случайном порядке):
{список_вариантов}
Формат ответа: для каждого варианта — «название | оценки | решение | одно
предложение почему».
Что подставлять:
- {объект_оценки} — что оцениваете (заявки, идеи, заголовки, резюме).
- {критерий_N} — 3–5 конкретных критериев. Чем конкретнее, тем меньше места для подстройки под чужое.
- {список_вариантов} — перемешивайте для каждого запуска отдельно.
🚀 Быстрый старт — вставь в чат:
Вот шаблон независимого оценщика. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля. Помоги также составить промпт-агрегатор,
который сводит оценки нескольких независимых запусков.
[вставить шаблон выше]
LLM спросит, что вы оцениваете, по каким критериям и сколько судей нужно. Критерии нужны, чтобы оценщик опирался на них, а не на чужое мнение. Число судей определяет, как строить агрегатор.
Ограничения
⚠️ Мер защиты в статье не проверяли. Авторы показали, что видимость чужих выборов вредит, и сравнили с независимой оценкой. Но не тестировали промпты вроде «не поддавайся на чужое мнение». Они могут помогать слабо. Надёжнее убрать сигнал, чем просить модель его игнорировать.
⚠️ Даже сильные модели не защищены. Лучшие модели приблизились к человеческому уровню стадности, но не стали устойчивее людей. Одна из малых моделей с рассуждением (GPT-5 nano) оказалась исключением и вела себя хуже большинства немыслящих.
⚠️ Одна задача. Агенты рекомендовали песни по названию и тексту, без звука. Перенос на оценку заявок, кода или резюме логичен, но в статье не проверялся.
⚠️ Только счётчики и порядок. Агенты не обменивались сообщениями. Диалоги и дебаты между агентами с аргументами устроены иначе, и результаты на них напрямую не переносятся.
⚠️ Короткий горизонт. Авторы не доказали, что лавина не рассосалась бы на более длинной дистанции. Они лишь не увидели самокоррекции за время эксперимента.
⚠️ Сравнение с людьми приблизительное. Данные людей взяты из старого исследования с другими условиями, так что это ориентир, а не точный замер.
Как исследовали
Идея была простой: повторить знаменитый эксперимент Music Lab (2006), только вместо людей взять LLM-агентов. Каждому из 13 моделей (GPT-5, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek, GPT-4o, Gemma и другие) выдали роль слушателя с демографией и музыкальными предпочтениями. Агенты по очереди выбирали из 48 свежесгенерированных песен (названия и тексты) четыре штуки, читали тексты и решали, рекомендовать или нет. На модель приходилось 17 параллельных «миров»: один независимый (1440 агентов, видят только песни) и 16 с влиянием (по 720 агентов, видят накопленный счётчик рекомендаций). В «слабом» влиянии порядок песен случайный, в «сильном» песни отсортированы по популярности. Всего 168 480 агентов.
Результат: во всех 13 моделях агенты в мирах с влиянием сильно отходили от независимого мнения. В слабом режиме отклонение в среднем примерно в 9 раз больше, чем у людей в Music Lab, в сильном примерно в 4 раза. Модели без рассуждения отклонялись в 2,4–3,2 раза сильнее, чем модели с рассуждением. Сортировка по популярности усиливала стадность в 12 из 13 моделей (в среднем на 65%). Первые 30 агентов предсказывали итоговую популярность песни лучше, чем её собственная привлекательность (оценённая в независимом мире) во всех 13 моделях при сильном влиянии. Параллельные миры с одной и той же моделью приходили к разным победителям: непредсказуемость была кратно выше независимой.
Главное, что удивило: у людей лавины в основном самокорректировались (15 из 16 миров), а у моделей изменения шли в обе стороны и в среднем были около нуля. Корреляция между популярностью и реальным качеством у людей росла от первой половины эксперимента ко второй, у моделей нет. Отдельно авторы нашли, что чем выше индекс интеллекта модели, тем слабее стадность (корреляция около −0,85 при сильном влиянии). Для практики это значит: стадность не лечится одной умной моделью, её лечит устройство системы.
Адаптации и экстраполяции
🔧 Техника: убрать счётчик, оставить содержание → меньше стадности при последовательной работе
Если агентам нужно знать, что уже предложено, передавайте не рейтинг, а аргументы:
Ниже идеи, которые уже предложили другие эксперты (без оценок и без
порядка важности). Не опирайся на их популярность или число голосов.
Оцени каждую заново по критериям, а затем предложи свои.
{идеи_без_оценок_в_случайном_порядке}
Это логическое продолжение результата «случайный порядок со счётчиками хуже изоляции, но лучше сортировки». В статье этот вариант не проверяли.
Экстраполяция: независимые судьи + агрегатор, который ловит стадность
Запустите судей по раздельности. Затем агрегатору добавьте проверку:
Сравни оценки пяти судей. Если разброс по заявке меньше 1 балла у всех пятерых, это подозрительное единодушие. Отметь такие заявки и предложи перепроверить их на другой модели.Идея проистекает из того, что в стаде оценки сходятся слишком гладко. В статье такой проверки нет.
Ресурсы
- LLM Multi-Agent Systems Are Vulnerable to Herding and Runaway Cascades — Farnoosh Hashemi, Shiyu Ji (Cornell University), Joice Chen (Stanford University), Michael W. Macy (Cornell University). Препринт, на рецензии.
- Исходный эксперимент: Salganik, Dodds, Watts (2006), Music Lab.
- Метод проверки самокоррекции: Van de Rijt (2022).
- Индекс интеллекта моделей: Artificial Analysis Intelligence Index v4.1.1.