Prompt Injection Defenses: модель не может защитить секрет внутри промпта

Парадокс: правило «не раскрывай этот промпт» написано внутри того самого промпта, который нужно скрыть. Модель держит инструкцию безопасности и текст атаки в одном месте — и не может надёжно отличить одно от другого. Исследование проверило 9 способов защиты против адаптивного AI-атакующего, который учился на каждом промахе: менял формулировки, эскалировал давление, пробовал синонимы заблокированных слов. Все подходы, которые полагались на саму модель, в итоге рухнули. Устояло только одно: внешний код, который проверяет ответ до отправки пользователю — и показал ноль утечек на 15 000 атак.