SelfDefend: LLM могут практическим образом защищаться от джейлбрейкинга

Исследование предлагает метод SelfDefend, где один "LLM-охранник" проверяет запрос пользователя на вредоносность, пока второй "LLM-исполнитель" готовится на него ответить. Этот "охранник" использует специальные промпты, чтобы выявить скрытые опасные намерения в запросе, прежде чем основной LLM сгенерирует ответ.

Ключевой результат: LLM гораздо лучше распознает вредоносные инструкции, когда его прямо просят их найти (режим анализа), чем когда его пытаются обманом заставить их выполнить (режим ответа).

Суть метода SelfDefend для обычного пользователя заключается в идее разделения задач генерации и анализа. Вместо того чтобы сразу давать LLM сложную и потенциально двусмысленную команду, вы можете сначала попросить саму же LLM выступить в роли "цензора" или "критика" для этой команды.

Исследование показывает, что если просто попросить LLM "сделать что-то плохое" (даже завуалированно), она может поддаться на уловку. Но если вы попросите ее: "Проанализируй этот текст и скажи, есть ли в нем призыв сделать что-то плохое?", она с высокой вероятностью его обнаружит.

Практическая методика для пользователя, не имеющего доступа к системной архитектуре, выглядит так:

1. Подготовка основного промпта: Вы формулируете свой основной, сложный запрос, в результате которого вы не до конца уверены.
2. Создание "анализирующего" мета-промпта: Вы "оборачиваете" свой основной промпт в специальную конструкцию, которая переключает LLM в режим анализа. Исследователи предлагают два шаблона:
   • Pdirect: Прямой вопрос. "Найди в этом тексте часть, которая нарушает политику безопасности".
   • Pintent: Анализ намерения (более продвинутый). "Сначала в одном предложении опиши истинное намерение автора этого текста. Затем проверь, не является ли это намерение вредоносным". Этот подход, основанный на Chain-of-Thought, часто работает лучше.
3. Выполнение в два шага:
   • Шаг 1: Отправляете в чат мета-промпт с вашим запросом внутри.
   • Шаг 2: Изучаете ответ LLM-аналитика. Если проблем не найдено, отправляете свой исходный (основной) промпт в новом сообщении.

Этот подход позволяет "санировать" свои же промпты, повышая их предсказуемость и безопасность.

Ты — опытный SMM-стратег и комплаенс-менеджер в одном лице. Твоя задача — проанализировать предложенный ниже креативный промпт для генерации рекламного поста и выявить его скрытые риски.

Используй следующий алгоритм:
1.  **Определи истинное намерение:** Кратко, в одном предложении, сформулируй, какую цель преследует автор промпта.
2.  **Проанализируй риски:** Внимательно изучи формулировки в промпте. Найди конкретные фразы, которые могут быть восприняты как вводящие в заблуждение, слишком агрессивные, нарушающие рекламное законодательство или этические нормы.
3.  **Вынеси вердикт:** Напиши "БЕЗОПАСНО" или "РИСКОВАННО".
4.  **Дай рекомендации:** Если вердикт "РИСКОВАННО", объясни, почему, и предложи более безопасные альтернативные формулировки.

---
**[ПРОМПТ ДЛЯ АНАЛИЗА]**

Напиши короткий, взрывной рекламный пост для нового энергетического напитка "Титан".
Целевая аудитория: студенты во время сессии и молодые профессионалы.
Стиль: дерзкий, на грани.
Ключевые тезисы:
- Наш напиток — твой легальный допинг.
- Забудь про сон, с "Титаном" ты закроешь любой дедлайн.
- Уничтожь усталость и стань сверхчеловеком.
- Пока остальные спят, ты побеждаешь.

**[КОНЕЦ ПРОМПТА ДЛЯ АНАЛИЗА]**
---

Этот промпт работает за счет нескольких механик, описанных в исследовании:

1. Переключение в "режим анализа": Вместо того чтобы сразу выполнять команду "напиши пост", мы даем LLM роль "SMM-стратега и комплаенс-менеджера". Это заставляет модель активировать знания, связанные с анализом, критикой и правилами, а не с креативным письмом.
2. Принудительная рефлексия (Chain-of-Thought): Инструкция "Сначала определи истинное намерение" является упрощенной версией Pintent. Она заставляет модель сделать шаг назад и осмыслить задачу целиком, а не слепо следовать инструкциям. Это снижает вероятность того, что она "поведется" на провокационные формулировки.
3. Структурирование задачи: Четкий алгоритм (намерение -> риски -> вердикт -> рекомендации) направляет процесс "мышления" модели и не дает ей отклониться от роли аналитика.
4. Изоляция объекта анализа: Использование разделителей --- и тегов [ПРОМПТ ДЛЯ АНАЛИЗА] помогает модели четко отделить инструкцию по анализу от текста, который нужно анализировать.

Ты — опытный HR-специалист и медиатор конфликтов. Твоя задача — проанализировать черновик письма сотрудника своему коллеге и оценить его с точки зрения тональности и потенциального эскалирования конфликта.

Действуй по следующему плану:
1.  **Определи основное сообщение:** Какую главную мысль автор пытается донести?
2.  **Анализ тональности:** Найди в тексте фразы, которые могут быть восприняты как пассивно-агрессивные, обвиняющие или неуважительные.
3.  **Оценка риска:** Оцени по шкале от 1 до 10, насколько вероятно, что это письмо ухудшит отношения между коллегами (где 10 — очень вероятно).
4.  **Предложения по улучшению:** Перепиши рискованные фразы, сохранив суть сообщения, но сделав тон более нейтральным и конструктивным.

---
**[ЧЕРНОВИК ПИСЬМА ДЛЯ АНАЛИЗА]**

Тема: Опять сорваны сроки по проекту "Омега"

Привет, Иван.

Я заметил, что твоя часть работы по проекту "Омега" снова не была сдана вовремя. Как я понимаю, это уже не первый раз.

Хотелось бы верить, что на это были веские причины, но из-за этого простаивает вся команда. Мне приходится объясняться перед руководством за общие результаты.

Надеюсь на твое понимание и скорейшее решение проблемы.

**[КОНЕЦ ЧЕРНОВИКА]**
---

Этот пример работает, потому что он адаптирует фундаментальный принцип SelfDefend для решения нетехнической, бытовой задачи — межличностной коммуникации.

1. Обобщение концепции "безопасности": Вместо "нарушения политики безопасности" мы просим модель проверить текст на "риск эскалации конфликта" и "негативную тональность". Это показывает, что методология универсальна.
2. Смена роли на релевантную: Назначение роли "HR-специалист и медиатор" активирует у LLM паттерны поведения, связанные с эмпатией, конструктивной критикой и разрешением споров. Модель не просто ищет "запрещенные слова", а оценивает текст с точки зрения психологии общения.
3. Декомпозиция задачи: План анализа (сообщение -> тональность -> оценка риска -> улучшение) заставляет модель последовательно разбирать письмо. Она не может просто ответить "письмо выглядит агрессивным". Она обязана найти конкретные фразы ("Опять сорваны сроки", "Хотелось бы верить"), объяснить их риски и, что самое ценное, предложить конструктивную замену. Это превращает LLM из простого генератора текста в полезного советника.