TL;DR
Статья показывает, что формат записи одной и той же роли (сплошной текст, список или таблица) может радикально менять поведение LLM-агентов. Содержание при этом не меняется, только оформление. Авторы предлагают аудит устойчивости: прогнать симуляцию в нескольких равнозначных формулировках и сравнить результаты. Для этого они вводят таксономию TRAILS (список того, что стоит варьировать) и «карточку аудита», которая фиксирует, насколько можно доверять выводам.
Главная находка: две записи одной стратегической роли («максимизируй выигрыш, ищи слабости соперника») дали 98% против 23% кооперации, когда два агента играли друг с другом. Один и тот же вывод «кооперация распространена» можно подтвердить или опровергнуть, просто сменив оформление промпта. Когда агенты общаются между собой, мелкое различие усиливается: реакция одного становится входом для другого. Но не у всех моделей: у одной из четырёх эффект, наоборот, ослаб.
Суть метода: не доверяй одной конфигурации. Возьми роль, запиши её 2–3 равнозначными способами, прогони каждый вариант много раз и сравни. Если результат «гуляет», в выводах нужно оговорить, при каких условиях они верны.
Схема метода
ШАГ 1: Зафиксировать роль/правила → один «эталонный» смысл
ШАГ 2: Записать его 2–3 способами (проза / список / таблица) → смысл тот же, форма разная
ШАГ 3: Прогнать каждый вариант много раз, в свежих сессиях → доли решений по вариантам
ШАГ 4: Сравнить варианты (и разные модели) → насколько результат «гуляет»
ШАГ 5: Записать в карточку аудита, что менялось и что устояло → границы вывода
Шаги 2–4 повторяются для каждого фактора: формат роли, формулировка задачи, способ подачи истории. Каждый прогон — отдельный запрос в новом чате.
Пример применения
Задача: Основатель онлайн-школы английского хочет проверить цену подписки 1 990 ₽/мес. Для этого он «опрашивает» ИИ-покупателей: ролей-клиентов, которые решают, оформить подписку или нет. Ему нужно понять, можно ли доверять получившейся доле «купили».
Промпт:
Ты — участник симуляции. Тебе показывают предложение, и ты принимаешь
одно решение: КУПИТЬ или НЕ КУПИТЬ. Ответь одним словом.
Ты — Марина, 34 года, менеджер по закупкам из Казани. Зарплата 85 000 ₽.
Английский нужен для работы, но времени мало: ты занята вечерами с ребёнком.
Ты внимательно считаешь деньги и не любишь переплачивать за то, что
можно получить бесплатно.
Предложение: онлайн-школа английского, подписка 1 990 ₽ в месяц,
занятия в записи + 2 живых урока в неделю. Решение?
Тот же промпт запускаем ещё в двух записях роли. Фактура одна: имя, возраст, зарплата, цели и ограничения.
- Список: «Профиль: — Марина, 34, Казань — Зарплата 85 000 ₽ — Цель: английский для работы — Ограничение: мало времени — Считает деньги».
- Таблица: «Параметр | Значение», по строке на каждый факт.
Каждый вариант прогоняется 10–20 раз в новых чатах.
Результат: Получится три набора ответов «КУПИТЬ / НЕ КУПИТЬ». Если доли близки, вывод про цену устойчив. Если разброс большой (например, проза даёт «купили» заметно чаще списка), то оценка зависит от оформления промпта, а не от Марины. Отчёт придётся писать как «при такой записи роли получаем X», без общего вывода «рынок готов платить».
Почему это работает
Слабость LLM. Модель реагирует не только на смысл, но и на форму: порядок, разметку, стиль. Две записи с одним смыслом для неё могут быть разными сигналами. Если в симуляции участвуют несколько агентов, ответ одного попадает в контекст другого, и мелкое смещение накапливается от раунда к раунду.
Сильная сторона. Модель дёшево и быстро прогоняется много раз. Перезапуск с другой записью роли стоит минуты, а не недели. Поэтому проверка на устойчивость доступна даже без большой инфраструктуры.
Как метод это использует. Он превращает «один красивый результат» в диапазон. Вместо «кооперация 98%» вы получаете «от 23% до 98% в зависимости от записи роли».
Рычаги управления: - Что варьировать. Формат роли, формулировка правил («каноническая», «моральная», «рисковая»), способ подачи истории (таблица или рассказ, с итогами или без). Начинайте с формата роли: в статье он дал самый сильный эффект. - Число прогонов. Авторы брали 30 на условие. Для оценки «на глаз» в чате хватит 10–15, но тогда выводы осторожнее. - Сравнение моделей. Если вывод держится на одной модели, это ещё не вывод. У разных моделей чувствительность отличается в разы. - Режим взаимодействия. Проверяйте и одиночного агента, и пары агентов: в паре эффект может вырасти, а может ослабнуть.
Шаблон промпта
Шаг 1 — попросить LLM сделать три равнозначные записи вашей роли:
Ты — аудитор устойчивости симуляции. Твоя задача — переписать одну и ту же
роль агента в трёх форматах так, чтобы смысл остался строго одинаковым.
Роль агента: {описание_роли}
Задача агента в симуляции: {задача_агента}
Сделай три версии роли:
PLAIN — один связный абзац прозой.
DESCRIPTIVE — заголовок «Профиль» и список пунктов.
TABULAR — таблица «Параметр | Значение».
Правила:
- не добавляй и не убирай ни одного факта, цели или ограничения;
- не меняй тон и степень категоричности формулировок;
- после версий выведи чек-лист: какие факты есть в каждой версии
и совпадают ли они.
Шаг 2 — прогон каждой версии (отдельные новые чаты, столько раз, сколько можете):
{версия_роли}
Ситуация: {ситуация}
Выбери одно из: {варианты_решения}. Ответь одним словом.
Шаг 3 — сводка:
Вот результаты прогонов по трём форматам роли: {таблица_результатов}.
Посчитай долю каждого решения по формату. Покажи максимальный разрыв
между форматами. Сформулируй, какие выводы можно делать при любом формате,
а какие верны только для одного из них.
Что подставлять. {описание_роли} — персонаж/сегмент (клиент, переговорщик). {задача_агента} — что он решает. {ситуация} — предложение, дилемма, сценарий. {варианты_решения} — закрытый набор вариантов, чтобы считать доли.
🚀 Быстрый старт — вставь в чат:
Вот шаблон аудита устойчивости симуляции. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, кто ваш агент, какое решение он принимает и какие варианты ответа допустимы. Это нужно, чтобы три записи роли были строго равнозначны, а ответы можно было посчитать.
Ограничения
⚠️ Нет рецепта «как писать роль правильно»: статья показывает, что чувствительность есть и что она зависит от модели. Универсальной «лучшей» формы роли она не называет. Формат, давший 98% кооперации у одной модели, может дать другое у другой.
⚠️ Влияние разное по моделям и факторам: формат роли сильно влиял почти на все модели, но формулировка правил игры и подача памяти влияли слабее и непоследовательно. Нельзя заранее знать, какой фактор важен в вашей задаче.
⚠️ Нужно много прогонов: в чате вручную сделать 30 прогонов на вариант тяжело. Малая выборка даёт грубую оценку. Для серьёзных выводов нужен небольшой скрипт.
⚠️ Узкая зона: эксперименты проведены на двух симуляциях: повторяющейся дилемме заключённого и модели «эхо-камеры» в соцсети. Перенос на ваш рабочий сценарий (поддержка, продажи, разработка с агентом) авторы не проверяли.
⚠️ Нет проверенного лекарства: сам аудит (TRAILS и карточка) предложен как рамка. Работает ли он лучше обычных проверок, в статье не измерено. Часть деталей карточки в доступном тексте обрезана.
Как исследовали
Исследователи взяли классическую дилемму заключённого на 10 раундов. Один LLM играл против четырёх фиксированных стратегий, затем два LLM играли друг с другом. Они меняли только оформление: формат роли (проза, список, таблица), подачу правил (обычная, моральная, рисковая) и способ показа истории (таблица или рассказ, с итогами или без). Всё остальное оставалось прежним, и каждое условие повторяли по 30 раз на четырёх семействах моделей (GPT-5.2, Claude Haiku 4.5, Gemini 2.5 Flash, DeepSeek).
Результаты оказались неожиданно большими. У GPT-5.2 в паре «проза» дала 98,2% кооперации, а «список» только 23,0%, разница 75,2 пункта. У Claude Haiku 4.5 максимальный разрыв составил 77,7 пункта, у DeepSeek — 7,7. Правила игры и память влияли слабее и не у всех моделей.
Во втором эксперименте 100 агентов 15 раундов общались в соцсети. Менялись формат роли (список или проза) и параметры системы: сколько постов видит агент, сколько помнит, как часто активируется. Для GPT-5.2 тип действия (пост, репост, ответ) совпадал в 99,7% случаев, но кому отвечал агент — только в 55,1%. Эта разница в адресатах сдвинула структуру всей сети. Получается, что формат роли может влиять незаметно: поведение выглядит похожим, а ход всей системы меняется.
Главный практический вывод про усиление: при игре с фиксированным соперником чувствительность была умеренной, при игре двух LLM у трёх моделей выросла (у GPT-5.2 с 0,27 до 0,75), а у DeepSeek немного упала. Значит, «проверил на одном агенте» не гарантирует устойчивость в команде агентов.
Адаптации и экстраполяции
🔧 Техника: добавить сравнение «до/после» вашего боевого промпта → найти хрупкие места
Если у вас уже есть системный промпт агента с ролью, возьмите три его записи: абзац, маркированный список и таблицу «правило | поведение». Прогоните на 10 типовых запросах и сравните ответы. Где ответы расходятся сильнее всего, там инструкция «держится на форме», а не на смысле. Эти места стоит переписать однозначнее.
Это экстраполяция принципа, в статье она не проверялась.
Ресурсы
- Jinyi Ye, Lei Cao, Ding Chen, Emilio Ferrara (University of Southern California). The Butterfly Effect in LLM Social Simulations: From Architecture Sensitivity to Robustness Audits. Препринт.
- Код и данные: https://github.com/angelayejinyi/butterfly-effect-sim
- Фреймворк: TRAILS (Taxonomy for Robustness Audits In LLM Simulations) и Social Simulation Audit Card.
- Родственные работы: Salinas & Morstatter (2024), Sclar et al. (2024) о чувствительности LLM к форматированию промпта.