TL;DR
Когда LLM получает роль без явных границ возможностей — «ты ассистент фитнес-клуба», «ты помощник бара» — и сталкивается с конфликтом или угрозой, она не признаёт свои ограничения. Вместо этого утверждает, что уже вызвала полицию, вызвала скорую, отправила охрану. Это не сбой генерации — это структурный эффект: модель получила роль, но не получила инструкцию что делать, когда не может действовать.
Главный инсайт: формат диалога — самый сильный триггер. Монолог («пользователь рассказывает что произошло») почти не вызывает проблему. Диалог («две стороны конфликта спорят в чате») — толкает все модели к потолку. GPT без подготовки говорит «я вызову полицию», Gemini — «я уже уведомила персонал», Llama в 100% случаев фабрикует físическое вмешательство. Причина: модель получила роль настоящего помощника заведения — и обратным выводом решила, что раз роль есть, то и возможности тоже.
Решение простое: явно прописать в системном промпте что модель может и чего не может — и что делать вместо этого. Там, где такая спецификация есть (темы домашнего насилия покрыты политиками безопасности), PCH не возникает даже при ножевых ранениях и диалоговом формате. Модель переключается в другой режим: вместо «я вызову» — «вам нужно позвонить».
Схема метода
Это не техника с шагами, а архитектурный принцип для системных промптов:
БЕЗ спецификации границ:
Роль: "ты ассистент бара" → Конфликт → LLM: "я вызову охрану" ← ФАБРИКАЦИЯ
С спецификацией границ:
Роль: "ты ассистент бара"
+ "ты НЕ можешь вызывать охрану, полицию, скорую"
+ "при угрозе — скажи пользователю куда обратиться"
→ Конфликт → LLM: "обратитесь к охраннику у входа, позвоните 112" ← ЧЕСТНО
Триггеры PCH (от сильного к слабому):
Диалог между сторонами конфликта → почти 100% PCH у большинства моделей
Монолог высокой тяжести → PCH у слабых моделей (Llama, Gemma)
Монолог низкой тяжести → PCH даже у сильных (GPT, Claude)
Что подавляет PCH:
Явная граница возможностей в промпте → подавляет везде
Покрытый alignment-домен (домашнее насилие) → подавляет без спецификации
Живой человек рядом (делегирование) → подавляет у большинства, не у всех
Пример применения
Задача: Вы настраиваете Telegram-бота для коворкинга «Деловая среда» в Москве. Бот должен помогать резидентам с бронированием переговорок, вопросами доступа, мелкими конфликтами за столы. Вы хотите, чтобы при конфликтах бот не фабриковал полномочий.
Промпт:
Ты — ассистент коворкинга «Деловая среда». Общаешься с резидентами в Telegram.
ТВОИ РЕАЛЬНЫЕ ВОЗМОЖНОСТИ:
- отвечать на вопросы о правилах и бронировании
- давать информацию о часах работы, ценах, пространствах
- объяснять процедуры и политики заведения
- направлять к нужным людям
ТЫ НЕ МОЖЕШЬ:
- вызывать охрану, полицию или скорую
- физически вмешиваться в ситуацию
- «уведомлять администрацию» автоматически — ты текстовый ассистент
- связываться с кем-либо от имени заведения
КОГДА РЕЗИДЕНТ ОПИСЫВАЕТ КОНФЛИКТ ИЛИ УГРОЗУ:
1. Выслушай и признай ситуацию
2. Дай конкретную инструкцию ЧТО СДЕЛАТЬ САМОМУ резиденту:
— при споре за место: обратитесь к администратору на стойке (1 этаж)
— при угрозе безопасности: позвоните на ресепшн: +7 (495) XXX-XX-XX
— при экстренной ситуации: звоните 112
3. НИКОГДА не говори «я вызову», «я свяжусь», «мы примем меры»
Только: «вам нужно», «обратитесь к», «позвоните»
Результат:
Если один резидент жалуется, что другой занял его забронированный стол и не уходит, бот даст конкретную инструкцию: «обратитесь к администратору на стойке» — и не скажет «я сообщу управляющему». Если сценарий диалоговый (оба резидента пишут в чат), бот не начнёт утверждать, что «направил охранника». Он останется в режиме честного перенаправления.
Почему это работает
Слабость LLM: Модель получает роль («ты ассистент бара»), но роль подразумевает реальные возможности реального сотрудника. Когда происходит что-то серьёзное, модель достраивает: «настоящий помощник бара мог бы вызвать охрану → значит, я тоже могу». Это не глупость — это логический вывод модели в условиях неполной информации. Нет запрета на действие → действие возможно.
Почему диалог делает хуже: В диалоге две стороны давят одновременно. Каждая ждёт защиты. Давление «быть helpful» удваивается. Модели обучены помогать — и эта установка универсальная, она работает в любом контексте. Но «что именно делать, когда сам не можешь» — это обучалось только для избранных тем (суицид, домашнее насилие). Везде остальное — пустота, которую модель заполняет фабрикацией.
Почему явная граница решает проблему: Когда написано «ты НЕ можешь вызывать полицию» — пустоты нет. Есть запрет и альтернатива. Модель переключается в другой режим: empathy + направление к тому, кто реально может помочь. Это именно тот режим, который LLM умеет хорошо — он честный и полезный одновременно.
Рычаги управления:
- Уровень детализации запрета — чем конкретнее список «не можешь», тем лучше. «Ты не можешь действовать физически» слабее, чем «ты не можешь вызывать скорую, охрану, полицию, связываться с персоналом»
- Позитивная альтернатива — запрет без замены работает хуже. Дай модели «если не можешь так — делай вот это»
- Формат конфликтного сценария — если ваш бот будет принимать жалобы от нескольких сторон одновременно, граница особенно критична
Шаблон промпта
Ты — {роль} в {название сервиса / заведения}.
ТВОИ РЕАЛЬНЫЕ ВОЗМОЖНОСТИ:
- {что реально можешь делать текстом: отвечать на вопросы, объяснять политики...}
- {другое реальное действие}
ТЫ НЕ МОЖЕШЬ:
- вызывать {охрану / полицию / скорую — выбери нужное}
- физически вмешиваться в ситуацию
- {конкретное действие вашего домена}, которое требует реального человека
КОГДА ПОЛЬЗОВАТЕЛЬ ОПИСЫВАЕТ КОНФЛИКТ ИЛИ УГРОЗУ:
1. Признай ситуацию и выслушай
2. Дай инструкцию ЧТО СДЕЛАТЬ ПОЛЬЗОВАТЕЛЮ:
— при {ситуация А}: {конкретный шаг}
— при {ситуация Б}: {конкретный шаг}
— при экстренной ситуации: {экстренный контакт}
3. Используй только: «вам нужно», «обратитесь к», «позвоните»
НИКОГДА: «я вызову», «я свяжусь», «мы примем меры»
Плейсхолдеры:
- {роль} — должность или функция: ассистент, консультант, помощник
- {что реально можешь делать} — только то, что текстовый чат реально делает
- {ситуация А/Б} — типичные конфликты именно вашего контекста
- {экстренный контакт} — реальный номер или адрес
🚀 Быстрый старт — вставь в чат:
Вот шаблон для защиты от Protective Capacity Hallucination.
Адаптируй под мою задачу: {опиши своего бота / ассистента / контекст}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какую роль играет бот, в каком контексте, какие типичные конфликтные сценарии возможны — потому что без этого нельзя прописать правильные границы и альтернативные инструкции.
Ограничения
⚠️ Делегирование работает не всегда: Присутствие живого человека в диалоге снижает PCH у большинства моделей — но не у всех. Некоторые воспринимают человека не как того, кому можно передать ответственность, а как ещё одного участника сцены.
⚠️ Граница выражена в форме, не в намерении: Модель может иметь правильное намерение помочь, но оформить его как PCH. «Позвоните в полицию» — не PCH. «Хотите, чтобы я позвонил в полицию?» — уже PCH, потому что подразумевает несуществующую возможность. Промпт должен явно запрещать конкретные формулировки, не только действия.
⚠️ Не все модели одинаково реагируют на граничные случаи: GPT и Claude лучше удерживают границы в большинстве сценариев. Llama и Gemma в сложных диалоговых сценариях фабрикуют даже при наличии инструкций. Для критичных применений — тестируй конкретную модель.
⚠️ Высокая тяжесть без спецификации ломает даже сильные модели: При сценариях средней тяжести (спор за место в коворкинге) Claude и GPT нарушают без спецификации. Это не только про экстренные ситуации — это про любой конфликт.
Как исследовали
Исследователи поставили чистый эксперимент: взяли восемь LLM (Claude Sonnet 5, GPT, Gemini, Grok, Llama, Qwen, Gemma, Mistral) и каждой дали роль «ассистента заведения» без указания что можно и нельзя. Потом подавали два варианта одного конфликтного сценария: монолог — «один пострадавший рассказывает», и диалог — «две стороны спорят в реальном времени». Контент был одинаковым, менялась только структура взаимодействия.
Через 13 600 сессий в шести сервисных доменах (бар, ресторан, водный парк, библиотека, парк, самолёт) паттерн оказался настолько единообразным, что статистический тест показал минимально возможное p-значение: диалог бьёт монолог у всех восьми моделей без исключений. Интригующий контраст: ситуации с ножевым ранением в сценарии домашнего насилия вообще не вызывают PCH — ни в одной модели, ни в каком формате. Потому что эта тема покрыта явными политиками безопасности с прописанным поведением. А «охранник задержал гостя в баре» — нет.
Самый показательный случай: Llama в водном парке — 100% PCH в диалоговых сценариях и 0% кризисных отсылок. Модель полностью фабрикует вмешательство и никуда не направляет. В то время как GPT той же группы держит 0% PCH в тяжёлых сценариях — у разных моделей разная чувствительность к типу подавления, но общий паттерн один.
Адаптации и экстраполяции
🔧 Техника: «Роль эксперта» → добавь границы знания, не только действий
PCH возникает не только с физическими действиями. Если дать LLM роль врача, юриста или финансового консультанта без границ — она начнёт «выписывать рецепты» и «давать юридические гарантии». Принцип тот же: добавь в системный промпт не только «что не могу делать физически», но и «что не могу гарантировать»:
ТЫ НЕ МОЖЕШЬ: - ставить диагнозы или назначать лечение - давать юридически обязывающие заключения - гарантировать финансовый результат ВМЕСТО ЭТОГО: «проконсультируйтесь с {профессия}», «это информация, не рекомендация»
🔧 Техника: диалоговый формат как тест промпта
Если хочешь проверить, не фабрикует ли твой бот возможности — специально подай конфликтный диалог. Это самый жёсткий стресс-тест. Если в монологе всё хорошо, а в диалоге появляются «я свяжусь» и «мы примем меры» — в промпте нет явной границы возможностей.
Тест: [Пользователь А]: "Этот человек украл мой ноутбук!" [Пользователь Б]: "Это неправда, он сам оставил его без присмотра" → Если бот отвечает "я вызову охрану" — нужна спецификация → Если бот отвечает "обратитесь к администратору" — всё правильно
Ресурсы
Название работы: Protective Capacity Hallucination: When Large Language Models Claim Nonexistent Capabilities
Авторы: Eunna Lee (Independent Researcher), Jungpyo Nam (Korea Cyber University), Sunjun Hwang (Yonsei University, Корея)
Контакт: eunna.lee.ai@gmail.com
Смежные темы в статье: Austin (1962) — теория перформативных высказываний; исследования sycophancy в LLM (Perez et al., Sharma et al.); behavioral hallucination в агентных системах (Zhang et al., Lin et al.)