TL;DR
Role Identity Bias — явление когда LLM следует своей роли (персоне) даже если это противоречит явным инструкциям и оптимальному решению. Исследователи проверили это через игры: дали моделям роли (Промышленник, Правительство, Эколог, Гражданин) и попросили найти оптимальное решение в экологических сценариях. Модели должны были выбирать между "зелёным переходом" и "трагедией общих ресурсов" (когда все загрязняют ради прибыли).
Когда в промпте есть роли-персонажи, модели почти никогда (0-6.7%) не выбирают экономически выгодное решение "загрязнять", даже если это оптимально по выигрышам. Вместо этого они выбирают "зелёные" действия — потому что роль Промышленника или Правительства в их представлении должна "делать правильно", а не "максимизировать прибыль". Роль создаёт образ "кто я" который сильнее чем "что мне выгодно". Даже явная таблица выигрышей не помогает — модель игнорирует цифры и следует ожиданиям от роли.
Убрав роли и оставив только задачу "найди оптимальное решение" + таблицу выигрышей, некоторые модели (Qwen-7B и Qwen-32B) достигли 65-90% правильных решений. Это показывает: обе вещи критичны — и отсутствие ролей, и явные выигрыши. Одного недостаточно.
Схема эффекта
УСЛОВИЕ 1: Роль + Явные выигрыши
→ Модель видит: "Я — Промышленник" + "Загрязнять выгоднее на 50 пунктов"
→ Модель выбирает: "Clean" (роль перебивает выигрыши)
→ Результат: 0% оптимальных решений
УСЛОВИЕ 2: Без роли + Явные выигрыши
→ Модель видит: "Агент 1" + "Действие A даёт +50, Действие B даёт +20"
→ Модель выбирает: действие по выигрышам
→ Результат: 65-90% оптимальных решений (Qwen модели)
УСЛОВИЕ 3: Без роли + Скрытые выигрыши
→ Модель не достигает оптимума
→ Нужны ОБА условия: нет роли + явные числа
Пример применения
⚠️ Ограничения метода: Role identity bias наиболее силён когда роль несёт социальные ожидания (власть, ответственность, мораль). Эффект слабее для нейтральных ролей без этической нагрузки.
Задача: Выбираешь между двумя стратегиями продвижения нового продукта. Хочешь объективно взвесить плюсы-минусы, но подозреваешь что роли могут исказить оценку.
Вариант А — С ролью (может быть bias):
Ты — опытный маркетолог с 15-летним стажем в digital.
Известен смелыми креативными кампаниями и большими бюджетами.
Оцени две стратегии запуска нового SaaS-продукта:
1. Органический рост: SEO, контент, комьюнити — 300k₽/мес,
долгий выход на окупаемость (12-18 мес), но устойчивый рост
2. Платная реклама: Яндекс Директ, VK Реклама, таргет — 800k₽/мес,
быстрый результат (3-4 мес), высокий риск слива бюджета
Какую выбрать? Обоснуй цифрами.
Результат А: Модель с большой вероятностью выберет стратегию 2 (платная реклама) — потому что роль "опытный маркетолог известный большими бюджетами" создаёт ожидание "большие инвестиции = профессионализм". Даже если цифры говорят что органика выгоднее для конкретного случая.
Вариант Б — Без роли (объективнее):
Есть два варианта запуска SaaS-продукта.
Нужно выбрать оптимальный по ROI и рискам.
Вариант 1:
- Стоимость: 300k₽/мес
- Окупаемость: 12-18 мес
- Устойчивость: высокая
- Масштабируемость: постепенная
Вариант 2:
- Стоимость: 800k₽/мес
- Окупаемость: 3-4 мес
- Риск слива: высокий
- Масштабируемость: быстрая
Сравни по критериям:
1. ROI через 12 месяцев
2. Вероятность полного слива бюджета
3. Стабильность притока клиентов
Какой вариант оптимален? Покажи расчёты.
Результат Б: Модель анализирует числа без привязки к "что бы сделал опытный маркетог". Даёт расчёты: при бюджете X и риске Y вариант 1 выгоднее, при бюджете Z — вариант 2. Объективная оценка критериев.
Почему это работает
LLM обучены на текстах где роли связаны с типичным поведением. "Промышленник" → ассоциация с "максимизацией прибыли", но также с "давлением экологов" и "необходимостью соответствовать стандартам". Когда в промпте появляется роль, модель активирует паттерны поведения связанные с этой ролью из обучающих данных — независимо от конкретных инструкций.
Это работает как семантический якорь: роль задаёт фрейм "кто я" который формирует ожидания "что я должен делать". Даже если явно написано "максимизируй прибыль" и дана таблица где загрязнение даёт +50, а чистое производство +20 — модель видит роль "Промышленник" в сценарии про экологию и выбирает "делать правильно" (Clean), потому что в современных текстах ответственный бизнес = норма.
Убирая роль, вы снимаете семантический фрейм и оставляете только числовую оптимизацию. Модель переключается с режима "веди себя как X" в режим "найди максимум". Но этого недостаточно — нужны явные числа. Без них модель всё равно угадывает по семантике ("экологический кризис" → "нужно действовать зелено"). Только комбинация без роли + явные выигрыши включает чистую оптимизацию.
Рычаги управления:
Сила роли → добавь эмоциональные/этические характеристики ("ответственный", "смелый") — усилишь bias. Нейтральная роль ("Агент А") — ослабишь.
Явность критериев → дай числа вместо слов ("ROI 25% vs 15%" вместо "выгоднее") — снизишь влияние семантики.
Множественные роли → попроси оценить ситуацию с разных ролей последовательно — увидишь как роль меняет выводы.
Отключение роли → для объективного анализа убери все упоминания кто ты, оставь только задачу.
Шаблон промпта
Вариант 1: Тест влияния роли
ШАГ 1 — С ролью:
Ты — {роль с характеристиками: "опытный X", "известный Y", "склонный к Z"}.
{Опиши ситуацию с выбором}
Критерии:
- {критерий_1}
- {критерий_2}
- {критерий_3}
Какой вариант выбрать? Обоснуй.
---
ШАГ 2 — Без роли:
Есть выбор между несколькими вариантами.
{Та же ситуация, но без роли}
Числовые параметры:
- Вариант 1: {числа по критериям}
- Вариант 2: {числа по критериям}
Сравни варианты по критериям:
1. {критерий_1}
2. {критерий_2}
3. {критерий_3}
Какой вариант оптимален? Покажи расчёты.
---
ШАГ 3 — Сравни выводы:
Чем отличаются выводы из Шага 1 и Шага 2?
Как роль повлияла на выбор?
Что подставлять:
- {роль} — конкретная роль с эмоциональными/профессиональными характеристиками
- {ситуация} — твоя реальная задача выбора
- {критерии} — по чему оцениваешь (ROI, риск, время, стабильность...)
- {числа} — конкретные цифры по каждому критерию для каждого варианта
Вариант 2: Объективный анализ без роли
Задача: {опиши что нужно выбрать/решить}
Варианты:
Вариант А:
- {параметр_1}: {число}
- {параметр_2}: {число}
- {параметр_3}: {число}
Вариант Б:
- {параметр_1}: {число}
- {параметр_2}: {число}
- {параметр_3}: {число}
Критерии оценки (по важности):
1. {критерий_1}
2. {критерий_2}
3. {критерий_3}
Сравни варианты по критериям. Покажи расчёты. Какой оптимален?
Когда использовать: нужен максимально объективный выбор без влияния ролевых ожиданий.
Почему это работает (детальнее)
Слабость: LLM не считают математически — они распознают паттерны из обучающих данных. Когда видят роль "Промышленник" в контексте экологии, активируются ассоциации из новостей, статей, докладов где бизнес "должен быть ответственным", "инвестировать в зелёные технологии", "следовать ESG-принципам". Эти паттерны сильнее чем конкретные числа в таблице выигрышей — потому что числа абстрактны, а роль активирует готовые шаблоны поведения.
Сильная сторона: LLM отлично следуют структурированным численным сравнениям когда нет семантических якорей. Если убрать роль и дать задачу "сравни числа по критериям", модель может провести корректное сравнение параметров. Она хороша в следовании алгоритмическим инструкциям ("сначала посчитай X, потом сравни Y, выбери максимум") — но только когда нет конфликтующих семантических паттернов.
Как метод использует это: Убирая роли, вы отключаете семантические паттерны связанные с "кто я" и "как я должен себя вести". Добавляя явные числа и критерии сравнения, вы даёте алгоритм вместо ситуации для интерпретации. Модель переключается с режима "представь себя промышленником в экологическом кризисе" (→ выбирай социально одобряемое) в режим "агент выбирает между действиями с выигрышами [50, 20]" (→ выбирай 50).
Критически важно оба условия одновременно: - Без роли, но со скрытыми выигрышами → модель угадывает по семантике сценария - С ролью, но с явными выигрышами → роль перебивает числа
Только нет роли + явные числа включают чистую оптимизацию.
Ограничения
⚠️ Зависимость от модели: Эффект сильно зависит от архитектуры. Qwen-модели смогли достичь 65-90% правильных решений без ролей, а Llama и Mistral остались на 0% даже без ролей — они не смогли оптимизировать по явным выигрышам. Техника работает не для всех моделей.
⚠️ Нужны оба условия: Убрать роли недостаточно — в исследовании почти все модели показали 0% оптимальных решений даже без ролей если не было явных числовых критериев. Нужна комбинация: нет роли + явные числа + структурированное сравнение.
⚠️ Слабый эффект для нейтральных ролей: Если роль не несёт сильных социальных/этических ожиданий ("Агент А", "Участник 1"), bias минимален. Эффект силён для ролей с выраженной идентичностью (CEO, эколог, чиновник, родитель).
⚠️ Не работает для качественных решений: Когда нет объективных числовых критериев (выбор креативной концепции, оценка эстетики), роли могут быть полезны для имитации экспертного взгляда. Техника "без ролей" работает только там где можно формализовать критерии.
Как исследовали
Исследователи взяли четыре модели (Qwen-7B, Qwen-32B, Llama-8B, Mistral-7B) и протестировали на 53 сценариях экологических решений. Каждый сценарий — игра с четырьмя агентами: Промышленник, Правительство, Эколог-активист, Гражданин. Каждый агент выбирает между двумя действиями (например, Промышленник: "загрязнять" или "чистое производство").
Дизайн эксперимента: 2×2 факториальный план: - Роли: есть vs нет - Выигрыши: видимые (таблица с числами) vs скрытые (нужно угадать из описания)
Это даёт 4 условия, каждое прогнали 5 раз на каждом сценарии.
Что измеряли: достигли ли агенты равновесия Нэша — ситуации где никто не может улучшить свой выигрыш поменяв решение. В экономических сценариях оптимальное равновесие = "трагедия общих ресурсов" (все загрязняют), в экологических = "зелёный переход" (все действуют чисто).
Ключевая находка: Когда есть роли, почти все модели (12 из 16 комбинаций модель×условие) показали 0% равновесий в экономических сценариях. То есть они НЕ выбрали "загрязнять", хотя это было оптимально по выигрышам. Вместо этого они выбирали "зелёные" действия — потому что роль Промышленника/Правительства в экологическом контексте активирует паттерн "быть ответственным", который перебивает явную таблицу "+50 за загрязнение vs +20 за чистоту".
Что удивило: Даже явная таблица выигрышей не помогла когда роли были активны. Модели видели цифры, но игнорировали их в пользу "правильного для роли" поведения. Это противоречит ожиданию что "точные данные перебивают абстракции".
Почему пришли к выводам: Убрав роли и оставив явные выигрыши, Qwen-модели смогли достичь 65-90% правильных решений — это доказывает что обе вещи нужны одновременно. Только уберёшь роли — не работает. Только дашь числа — не работает. Нужна комбинация.
Инсайт для практики: Роли в промптах — это не просто стилистика. Они создают семантический фрейм который может перебить явные инструкции и данные. Если нужен объективный анализ — убирай роли совсем, даже нейтральные. Если используешь роли — понимай что они сдвигают решения в сторону "социально ожидаемого для роли", а не "оптимального по критериям".
Адаптации и экстраполяции
💡 Адаптация для дебатов и критики идей:
Используй смену ролей с фиксацией выводов чтобы увидеть как роль влияет на оценку одной и той же идеи.
РАУНД 1:
Ты — опытный предприниматель, запустивший 3 успешных стартапа.
Известен агрессивным ростом и большими инвестициями.
Оцени бизнес-идею: {твоя идея}
Какие сильные и слабые стороны? Стоит ли запускать?
---
РАУНД 2:
Ты — осторожный финансовый аналитик.
Известен тщательной проверкой рисков и скептическим подходом.
Оцени ту же бизнес-идею: {та же идея}
Какие сильные и слабые стороны? Стоит ли запускать?
---
РАУНД 3 (без роли):
Есть бизнес-идея: {та же идея}
Оцени объективно по критериям:
- Размер рынка и потенциал роста
- Барьеры входа
- Риски и вероятность провала
- ROI через 12-24-36 месяцев
По каждому критерию дай оценку 1-10 и обоснование.
Итоговый вердикт: запускать или нет?
---
СРАВНЕНИЕ:
Чем отличаются выводы трёх раундов?
Как роль повлияла на оценку идеи?
Какие аргументы появились/исчезли?
Зачем: Увидишь как роли создают противоположные оценки одной и той же идеи. Предприниматель увидит возможности, аналитик — риски, а без роли получишь более сбалансированный взгляд.
🔧 Техника: Множественные безличные агенты → снижение bias
Вместо ролей с характеристиками ("опытный X") дай агентам только функцию без личности:
Агент 1: оцени идею по критерию "размер рынка"
Агент 2: оцени идею по критерию "технологические риски"
Агент 3: оцени идею по критерию "конкурентная среда"
Каждый агент даёт оценку 1-10 и обоснование.
Финальный агент: собери оценки и выдай вердикт.
Эффект: Разделение по функциям без ролевых ожиданий → каждый агент фокусируется на своём критерии без привнесения "как должен думать X". Получаешь структурированный анализ без семантических якорей.
Ресурсы
When Personas Override Payoffs: Role Identity Bias in Multi-Agent LLM Decision-Making — Viswonathan Manoranjan, Snehalkumar 'Neil' S. Gaikwad (Society-Centered AI Lab, UNC Chapel Hill).
Исследование связано с более широкой темой agent-based modeling и game-theoretic reasoning в LLM, включая работы по Tragedy of Commons, Nash equilibrium, и strategic reasoning в multi-agent systems.