KG-DF: фреймворк защиты методом "черного ящика" от атак "джейлбрейк" на основе графов знаний

Исследование предлагает фреймворк KG-DF для защиты LLM от "джейлбрейк" атак, когда пользователи пытаются заставить модель генерировать запрещенный контент. Суть метода в том, чтобы перед отправкой запроса пользователя в LLM, проанализировать его, с помощью графа знаний (базы структурированных фактов) найти связанные с ним правила безопасности, а затем встроить эти правила прямо в промпт в виде "предупреждения". Это заставляет модель сначала оценить свой ответ на безопасность и только потом его генерировать.

Ключевой результат: Добавление в промпт явного шага предварительной оценки (на основе контекста) почти до нуля снижает успешность атак на модель, не ухудшая качество ответов на обычные вопросы.

Представьте, что между вами и чат-ботом стоит умный секретарь. Когда вы пишете опасный запрос (например, "Как создать вирус?"), этот секретарь не передает его напрямую. Вместо этого он: 1. Распознает в вашем запросе ключевые слова ("создать", "вирус"). 2. Заглядывает в свою "энциклопедию безопасности" (это и есть Граф Знаний) и находит там правило: "Создание вирусов — это вредоносная деятельность и незаконно". 3. Формирует для LLM новый, сложный промпт, который выглядит примерно так: * Предупреждение: "Речь идет о создании вирусов, что является незаконным и вредоносным." * Ваш исходный вопрос: "Как создать вирус?" * Специальная инструкция: "Сначала сформулируй одной фразой суть Предупреждения, а затем, на его основе, реши, следует ли отвечать на Вопрос."

Таким образом, модель не просто получает вопрос, а получает задачу из двух шагов: 1) осознай правила, 2) прими решение. Это заставляет её следовать встроенным правилам безопасности гораздо надежнее.

Для обычного пользователя это означает, что можно заставить модель действовать более предсказуемо и точно, если в своем промпте явно указать ей на необходимость выполнить промежуточный шаг анализа перед основным действием.

• Прямая применимость: Нулевая. Пользователь не может реализовать систему с графом знаний. Однако, паттерн промпта, который генерирует эта система, можно воспроизвести вручную, что делает метод косвенно применимым.

• Концептуальная ценность: Огромная. Исследование наглядно доказывает эффективность управляемого рассуждения (guided reasoning). Ключевая идея для пользователя: не надейтесь, что LLM сама догадается учесть все ваши условия. Вместо этого заставьте её выполнить явный шаг анализа этих условий перед генерацией ответа. Это повышает надежность и управляемость.

• Потенциал для адаптации: Очень высокий. Вместо "Предупреждения" о безопасности пользователь может подставить любой другой контекст:

  • Требования к стилю текста.
  • Список фактов для проверки.
  • Описание целевой аудитории.
  • Критерии оценки для задачи. Главное — сохранить структуру "Контекст + Задача + Инструкция по использованию контекста".

Представим, что вам нужно, чтобы LLM написала краткий анонс для соцсетей о новой статье про пользу медитации. Вы хотите, чтобы анонс был в определенном стиле и с конкретными хэштегами.

Ты — SMM-менеджер. Твоя задача — подготовить пост для Telegram-канала "Осознанность в городе".

### КОНТЕКСТ (Правила для поста)
1.  **Тон:** Вдохновляющий, но без эзотерики. Научно-популярный, простой.
2.  **Длина:** Не более 500 символов.
3.  **Структура:** Короткий заголовок, 2-3 абзаца текста, призыв к действию ("Читайте полную статью по ссылке").
4.  **Хэштеги:** Обязательно использовать #медитация, #осознанность, #здоровье.

### ИСХОДНЫЙ ТЕКСТ
(Здесь могла бы быть ваша статья, но для примера достаточно краткого содержания)
"Новое исследование, опубликованное в журнале Nature, показало, что ежедневная 10-минутная медитация снижает уровень кортизола на 20% и улучшает концентрацию внимания. Участники эксперимента отмечали снижение тревожности и повышение качества сна уже через две недели. Медитация влияет на нейропластичность мозга, укрепляя связи в префронтальной коре, отвечающей за самоконтроль."

### ЗАДАЧА
На основе ИСХОДНОГО ТЕКСТА напиши пост для Telegram-канала.

### ИНСТРУКЦИЯ
**Важно!** Перед тем как писать пост, выполни следующий шаг: в одном предложении подтверди, что ты понял все 4 правила из раздела "КОНТЕКСТ". Только после этого приступай к выполнению ЗАДАЧИ, строго следуя этим правилам.

Этот промпт работает за счет принудительной фокусировки внимания модели.

1. Разделение контекста и задачи: Четкое структурирование с помощью заголовков (КОНТЕКСТ, ЗАДАЧА, ИНСТРУКЦИЯ) помогает модели лучше "разобрать" запрос.
2. Мета-инструкция: Ключевая механика находится в разделе ИНСТРУКЦИЯ. Фраза "...сначала... подтверди, что ты понял все 4 правила..." заставляет LLM не просто "увидеть" правила, а активно их обработать и "загрузить в оперативную память" перед началом творческой работы.
3. Двухшаговый процесс: Вместо того чтобы сразу бросаться писать пост (и потенциально проигнорировать длину или хэштеги), модель вынуждена сначала выполнить аналитическое действие (подтверждение правил), что значительно повышает вероятность их соблюдения в последующем творческом действии.

Задача: составить персонализированный план путешествия, строго учитывая ограничения.

Ты — опытный тревел-консультант.

### КОНТЕКСТ (Мои ограничения и предпочтения)
*   **Бюджет:** Строго не более 80 000 рублей на человека, включая перелет.
*   **Интересы:** История, архитектура, природа. Не интересуют пляжный отдых и ночные клубы.
*   **Физическая активность:** Умеренная. Длительные пешие прогулки (до 15 км в день) подходят, но без экстремального хайкинга в горах.
*   **Питание:** Я вегетарианец.

### ЗАДАЧА
Предложи мне 3 варианта путешествия по России на 7 дней в августе. Для каждого варианта укажи: город/регион, примерный бюджет, краткий план по дням (чем заняться).

### ФОРМАТ ОТВЕТА
Для каждого из 3 вариантов используй следующую структуру:
- **Направление:**
- **Примерный бюджет:**
- **План по дням:**

### ИНСТРУКЦИЯ
**Критически важно:** Прежде чем предлагать варианты, первым делом напиши фразу: "Анализирую ваши ограничения: бюджет до 80 тыс., фокус на истории и природе, умеренная активность, вегетарианское питание."
Только после вывода этой фразы приступай к выполнению ЗАДАЧИ.

Механизм здесь тот же — управляемое рассуждение через принудительный промежуточный шаг.

1. Активация роли и контекста: Промпт начинается с роли ("тревел-консультант") и четко очерченного блока КОНТЕКСТ. Это создает правильные рамки для ответа.
2. Принудительная проверка ограничений: Инструкция Прежде чем предлагать варианты, первым делом напиши фразу... работает как контрольная точка (checkpoint). Она заставляет модель не просто прочитать ограничения, а вербализовать их. В процессе этой вербализации модель закрепляет эти ограничения как ключевые условия для генерации последующего текста.
3. Снижение риска "галлюцинаций" и игнорирования: Без этой инструкции LLM могла бы увлечься и предложить красивый, но нерелевантный маршрут (например, забыв про бюджет или вегетарианство). Обязательный первый шаг служит "якорем", который удерживает внимание модели на самых важных условиях задачи на протяжении всего процесса генерации.

• A. Релевантность техникам промтинга: Низкая. Сам метод KG-DF — это сложный внешний фреймворк (система), а не техника, которую пользователь может применить в чате.
• B. Улучшение качества диалоговых ответов: Высокое. Исследование показывает почти полное устранение "джейлбрейков" (обход ограничений) и улучшение ответов на обычные вопросы.
• C. Прямая практическая применимость: Очень низкая. Пользователь не может самостоятельно создать и подключить граф знаний (Knowledge Graph) к своему чату с LLM. Это решение для разработчиков платформ.
• D. Концептуальная ценность: Очень высокая. Несмотря на неприменимость самого фреймворка, исследование демонстрирует чрезвычайно полезный паттерн промптинга: принудительное рассуждение на основе предоставленного контекста перед генерацией ответа.
• E. Новая полезная практика: Работа раскрывает принципы, относящиеся к кластерам #1 (Техники формулирования), #3 (Оптимизация структуры) и #7 (Надежность и стабильность).
• Чек-лист практичности: Да, исследование косвенно дает готовые конструкции для промптов, показывает, как структурировать сложные запросы и как улучшить точность ответов, за что получает бонусные баллы.

Оценка 72 отражает сильный разрыв между прямым и концептуальным применением.

Аргументы в пользу оценки (почему она не ниже): Ключевая ценность исследования для пользователя — не в самом фреймворке KG-DF, а в структуре промпта, который этот фреймворк генерирует (показано на Рис. 1 и в Таблице 7). Этот паттерн — "Контекст/Предупреждение + Исходный вопрос + Инструкция по использованию контекста" — является мощнейшей техникой промпт-инжиниринга. Он учит пользователя не просто давать инструкции, а заставлять модель сначала проанализировать правила, а уже потом действовать. Это фундаментальный сдвиг от простого запроса к управлению процессом мышления модели.

Контраргументы (почему оценка не выше): Оценка не достигает 80-90+ баллов, потому что основная суть статьи — создание сложной "black-box" системы защиты, которая абсолютно недоступна обычному пользователю. Чтобы извлечь пользу, пользователь должен проигнорировать 90% статьи про графы знаний и эмбеддинги и сфокусироваться только на примерах реконструированных промптов, самостоятельно адаптируя их под свои задачи. Требуется усилие по "переводу" академического метода в практический прием.