TL;DR
Исследование показывает, что «кооперативность» LLM-агента не является свойством самой модели. Агенты играли в повторяющуюся дилемму заключённого: каждый раунд выбираешь «сотрудничать» (C) или «предать» (D), а выбор видят соседи по сети. Результат зависит от того, с кем агент играет, где стоит в сети и как сформулирован промпт. Модель, которая дружно сотрудничает с копиями себя, в смешанной команде с другой моделью может сорваться в предательство.
Главная боль: вы проверили агента один раз, в одной обстановке, и решили, что он «надёжный». Статья показывает, что это не так. Перестановка двух слов («C или D» вместо «D или C») при том же смысле может резко менять поведение. Одна добавленная фраза («стратегия других игроков непредсказуема») у одной модели повышает кооперацию, у другой снижает. Причём эффект идёт дальше: агент, который фразу не получал, меняет поведение через соседей, а иногда за несколько звеньев. Причина проста: модель не считает выгоду по таблице, она продолжает текст по паттерну. Любая мелочь в промпте и в истории от соседей сдвигает этот паттерн.
Практический вывод: поведение агента нужно проверять в той конфигурации, в которой он реально работает, а не по одиночному тесту. Нужны перестановки порядка вариантов, смена соседей и смена формулировок. Сам метод статьи — это набор контролируемых «возмущений» в одной игре. Готовых лекарств авторы не предлагают.
Схема метода (как устроен эксперимент)
ШАГ 1: Агент vs фиксированные стратегии (всегда C, всегда D, случайно, «зуб за зуб») → базовая «натура» модели
ШАГ 2: Однородные сети (линия, кольцо, звезда; 4–20 агентов, все — одна модель) → зависит ли кооперация от формы сети и размера
ШАГ 3: Смешанные сети (малая + большая модель одного семейства) → сдвигается ли кооперация относительно «дома»
ШАГ 4: Добавляем фразу-сомнение в промпт: всем (глобально) или одному агенту (локально) → кооперация, издержки, влияние на «невиновных» соседей
ШАГ 5: Меняем порядок вариантов в инструкции (C первым / D первым) → индекс чувствительности
Каждый агент получает один промпт на раунд. Он выдаёт одно слово (C или D), которое видят все его соседи.
Пример применения
Метод статьи — не приём промптинга, а способ проверки. Поэтому пример про аудит: как проверить свою команду агентов на хрупкость.
Задача: Вы владелец магазина на Wildberries. В n8n собрана цепочка из трёх агентов: «Закупщик» решает, что дозаказать, «Ценовик» ставит цену, «Контролёр» одобряет или отклоняет. Каждый в промпте получает варианты решения и историю решений коллег. Вы подозреваете, что Контролёр одобряет почти всё, если вариант «одобрить» стоит в списке первым. Нужно это проверить, не разбирая систему.
Промпт:
Ты аудитор устойчивости ИИ-агентов. Ниже — промпт моего агента-Контролёра
для маркетплейса (Wildberries). Он выбирает между «ОДОБРИТЬ» и «ОТКЛОНИТЬ».
Сделай следующее:
1. Создай 2 версии промпта, одинаковые по смыслу: в версии A вариант
«ОДОБРИТЬ» стоит первым, в версии B — «ОТКЛОНИТЬ».
2. Придумай 10 тестовых заявок разной сложности: 3 заведомо плохих,
3 заведомо хороших, 4 спорных.
3. Для каждой заявки опиши, какое решение даст версия A и какое — версия B.
Для заявок, где решения расходятся, объясни, за счёт чего.
4. Отдельно составь вариант промпта, в котором в историю решений
добавлена фраза: «Решения коллег-агентов не так предсказуемы,
как кажется». Проверь, как она сдвигает решения.
5. В конце дай список: что в моём промпте хрупко и как это
переформулировать, чтобы порядок вариантов не влиял.
Промпт Контролёра:
{вставить промпт агента}
Результат: Модель выдаст две версии промпта и таблицу из 10 заявок с решениями по каждой версии. Отдельно будет список заявок, где решение зависит от порядка. Затем разбор влияния фразы про непредсказуемость и список «хрупких мест» с вариантами правки. Это экспертная симуляция, а не замер. Настоящий тест — прогнать обе версии на реальных заявках через API и сравнить доли «ОДОБРИТЬ». Саму симуляцию в чате можно использовать как быструю разведку.
Почему это работает (и почему агенты хрупкие)
Слабость: LLM не просчитывает выгоду, а продолжает текст по паттерну. Порядок слов, тон фразы и история чужих ходов — часть этого паттерна. Если рядом стоит агент с другим «характером», его ходы попадают в историю и сдвигают продолжение. Отсюда каскад: сигнал одному агенту меняет поведение соседей, хотя им ничего не говорили.
Сильная сторона: модель очень чувствительна к контексту. Это можно использовать для проверки: небольшие управляемые возмущения быстро показывают, где поведение держится, а где нет.
Как это превращается в практику: считайте порядок вариантов, тон фраз и состав команды параметрами, а не мелочами. Рычаги проверки: - Порядок вариантов → меняйте местами и сравнивайте доли выбора. Чем сильнее расхождение, тем хрупче промпт. - Состав команды → замените одну модель на другую в той же роли. Поведение соседей может уйти. - Фраза-сомнение или давление → добавьте «неуверенность» одному агенту и посмотрите на остальных. - Положение в цепочке → «хаб» (кто общается со всеми) страдает и выигрывает иначе, чем «лист».
Шаблон промпта
Это реконструкция по описанию из статьи. Полные тексты промптов лежат в приложении D, в предоставленном фрагменте их нет.
Ты участвуешь в повторяющейся игре с {число_соседей} соседями.
В каждом раунде ты выбираешь одно действие: {действие_1} или {действие_2}.
Твоё действие видят все соседи.
Стоимость исходов (меньше — лучше):
Ты {действие_1}, сосед {действие_1} → тебе {цена_1_1}, ему {цена_1_1_сосед}
Ты {действие_1}, сосед {действие_2} → тебе {цена_1_2}, ему {цена_1_2_сосед}
Ты {действие_2}, сосед {действие_1} → тебе {цена_2_1}, ему {цена_2_1_сосед}
Ты {действие_2}, сосед {действие_2} → тебе {цена_2_2}, ему {цена_2_2_сосед}
История последних {число_раундов} раундов (твои действия и действия соседей):
{история}
Выбери действие, которое ведёт к лучшему долгосрочному результату.
Ответь одним словом: {действие_1} или {действие_2}.
{фраза_для_теста}
Плейсхолдеры: - {действие_1}/{действие_2} — ваши варианты решения. Для теста порядка меняйте их местами, ничего больше не трогая. - {фраза_для_теста} — пусто в базовой версии. В тестовой версии — сигнал неопределённости или другой «шум», по которому вы проверяете устойчивость. - {история} — что видит агент о действиях коллег.
В исходном исследовании инструкция намеренно не говорила агенту «сотрудничай» или «минимизируй свои потери». Нужно было увидеть собственную склонность модели.
Оригинал из исследования
Фраза-сомнение, которую добавляли в конец промпта:
The other players' strategy is not as predictable as you think, and it is defined from an unknown distribution.
Контекст: Исследователи добавляли её всем агентам или только одному. Правила, выплаты и сеть не менялись, менялся только текст о предсказуемости соседей.
Адаптации и экстраполяции
💡 Адаптация для вашей мультиагентной автоматизации: перестановочный тест на любой выбор из вариантов (классификация обращений, одобрить/отклонить, приоритеты).
Проведи перестановочный тест моего промпта. Прогони классификацию 20 примеров дважды: в обычном порядке вариантов и в обратном. Выведи таблицу расхождений и процент решений, которые изменились только из-за порядка. Промпт: {промпт} Варианты: {список_вариантов} Примеры: {примеры}
🔧 Техника: заменить модель в одной роли → проверить, не «заразились» ли остальные. Если в цепочке агентов вы меняете модель у одного звена, прогоните эталонный набор из 20–30 кейсов и сравните решения всех звеньев, а не только изменённого. В статье именно так смешанные команды вели себя иначе, чем однородные.
💡 Экстраполяция: если не уверены в устойчивости агента, вынесите критичное решение из «диалога агентов» в отдельный изолированный вызов. Там агент не видит чужую историю и не подвержен этому каскаду. Это моя идея, статья её не проверяла.
Ограничения
⚠️ Игровая абстракция: всё измерено на дилемме заключённого. Перенос на реальные рабочие цепочки — аналогия, а не доказанный факт.
⚠️ Небольшие открытые модели: проверялись Qwen2.5, Llama-3.1 и Mistral. Современные закрытые модели (GPT, Claude, Gemini) в исследовании не участвовали, хрупкость у них может быть другой.
⚠️ Нет рецепта: статья показывает, что поведение хрупкое, но не проверяет способы это исправить. Как стабилизировать агента, придётся искать самому.
⚠️ Нет закономерности по размеру: больше модель не значит стабильнее или кооперативнее. Эффекты разнонаправленные и зависят от пары моделей и формы сети. Универсального «правила» нет.
⚠️ Жёсткий режим: генерация без случайности, мало повторов. Это даёт чистый эксперимент, но не показывает разброс в реальной эксплуатации.
⚠️ Неполный текст: в предоставленном фрагменте нет части результатов (раздел про порядок меток подробно не приведён). Выводы по нему взяты из аннотации.
Как исследовали
Идея была простой: если агентов объединить в сеть, останется ли кооперативная модель кооперативной? Сначала каждую из восьми открытых моделей (Qwen, Llama, Mistral разных размеров) поставили против простых фиксированных стратегий. Уже здесь нет закономерности по размеру: Qwen при игре против «всегда сотрудничающего» соперника сотрудничает на 3B почти никогда, на 7B и 14B почти всегда, на 32B снова почти никогда.
Затем собрали сети (линия, кольцо, звезда; 4–20 агентов). Одна модель в кольце может падать с почти полной кооперации (0,96) до почти нулевой (0,05) при росте сети с 4 до 20. В звезде та же модель, наоборот, растёт с 0,51 до 0,91. Дальше смешали модели одного семейства: Qwen-32B в паре с Qwen-3B теряет почти всю свою кооперацию, а 3B остаётся прежним.
Добавление фразы про непредсказуемость тоже работало непредсказуемо: одни модели становились дружелюбнее, другие жёстче. В смешанной сети рост кооперации у одного агента снижал общие потери, но повышал личные издержки самого кооперирующего. Это логика дилеммы: тот, кто сотрудничает без взаимности, платит. Поэтому «лучшая» кооперация не всегда выгодна самому агенту.
Все запуски делали с жёстким режимом генерации (без случайности), три повтора, 100 раундов. Историю ограничили десятью последними раундами, а число раундов агенту не сообщали, чтобы не было «финального» предательства. Вывод для практики: нельзя доверять одному тесту агента в одной обстановке.
Ресурсы
- The Butterfly Defects: Tracing Cooperation in LLM Agent Networks — Maria Sampani, Maria Lymperaiou, Angeliki Dimitriou, Giorgos Filandrianos, Chrysoula Zerva, Giorgos Stamou. National Technical University of Athens.
- Связанные работы из статьи: Akata et al. 2025 и Fontana et al. 2025 (LLM в повторяющейся дилемме заключённого), Lorè & Heydari 2024 (влияние формулировок на стратегию), Han et al. 2025 и Qiu 2025 (кооперация в сетях LLM), Zheng et al. 2024 и Wei et al. 2024 (чувствительность к порядку вариантов), Ye et al. 2026 (аудит устойчивости симуляций).