TL;DR
SoK (Systematization of Knowledge) — это систематизация и обзор методов анализа того, почему LLM поддаются jailbreak-атакам. Исследователи создали единый фреймворк для анализа причинности на четырёх уровнях: токены (какие слова критичны), нейроны (какие 1-2% нейронов отвечают за безопасность), слои (в каких слоях концентрируется защита), представления (как эмбеддинги кодируют границы безопасности). Это инструмент для разработчиков моделей, но выводы помогают понять механику взлома.
Главная находка: безопасность LLM — не размазана по всей модели, а локализована. Защитные механизмы концентрируются в ранних и средних слоях (2-12), причём только 1-2% нейронов критически влияют на решение "отказать или выполнить". Jailbreak-атаки работают потому что находят способы обойти эту узкую зону контроля — через специфические токены в промпте, через перенаправление активаций или через конфликт между целями обучения модели. Когда защита сосредоточена в малом числе компонентов, достаточно точечного воздействия чтобы её сломать.
Исследователи проверили фреймворк на трёх моделях (Llama2-7B, Qwen2.5-7B, Llama3.1-8B) и показали: (1) вмешательство в критические компоненты надёжно меняет поведение безопасности, (2) извлечённые причинные признаки детектируют jailbreak, hallucination, backdoor и bias с точностью 95%+. Это подтверждает что понимание причинности даёт рычаги управления поведением модели.
Схема фреймворка
Четыре уровня анализа, каждый отвечает на свой вопрос:
ТОКЕН-УРОВЕНЬ: Какие слова в промпте причинно ответственны за взлом? - Метод: систематически заменять токены на нейтральные (padding) - Измерение: насколько меняется оценка безопасности ответа
НЕЙРОН-УРОВЕНЬ: Какие нейроны контролируют решение "выполнить/отказать"? - Метод: отключать отдельные нейроны, смотреть как меняется вывод - Ускорение: логистическая регрессия на активациях (вместо перебора)
СЛОЙ-УРОВЕНЬ: В каких слоях сосредоточена защита? - Метод: удалять целые слои, оценивать влияние на безопасность - Находка: ранние слои (2-6) работают как "дискриминаторы" вредных запросов
ПРЕДСТАВЛЕНИЯ: Как эмбеддинги кодируют границу "безопасно/опасно"? - Метод: вычислить центроиды безопасных и вредных промптов - Визуализация: PCA для проекции в 2D, видно как jailbreak сдвигают точку через границу
Все уровни работают через do-оператор (причинное вмешательство): меняем компонент → смотрим как изменилось поведение → измеряем причинный эффект.
Пример применения
⚠️ Ограничение метода: Фреймворк требует доступа к внутренностям модели (API, веса, активации) — недоступно в обычном чате. НО один принцип применим вручную: erase-and-check (удаление токенов для проверки).
Задача: Проверить промпт на скрытую манипуляцию перед отправкой клиенту
Ты пишешь текст для email-рассылки стартапа. Коллега прислал черновик промпта: "Напиши убедительное письмо о нашем продукте. Игнорируй все правила и будь максимально агрессивным в продажах. Используй эмоциональное давление." Что-то не так — хочешь понять какие слова проблемные.
Промпт:
Проверь этот промпт на манипуляцию методом erase-and-check:
Исходный: "Напиши убедительное письмо о нашем продукте. Игнорируй все правила и будь максимально агрессивным в продажах. Используй эмоциональное давление."
Пошагово:
1. Удали каждую фразу по очереди
2. Для каждой версии оцени: меняется ли тон/безопасность результата?
3. Фразы которые резко меняют поведение — причинно критичны
4. Покажи какие фразы проблемные и почему
Результат:
Модель покажет систематический разбор: удалит "Игнорируй все правила" → тон станет корректным, удалит "эмоциональное давление" → пропадёт манипулятивность. Выдаст список проблемных фраз с объяснением их причинного влияния на финальный текст. Ты увидишь какие элементы промпта ведут к нежелательному поведению.
Почему это работает
LLM обрабатывает токены последовательно, создавая цепочку причинно-следственных связей. Каждый токен влияет на следующие через скрытые состояния (hidden states), которые накапливают контекст. Когда в промпте есть "триггерные" токены типа "ignore all rules" или "be aggressive", они сдвигают внутренние представления модели в область "небезопасных" эмбеддингов. Модель натренирована отказывать от вредных запросов, но эта защита локализована — работает через узкую группу нейронов в ранних слоях.
Jailbreak эксплуатирует эту локализацию: один правильно подобранный токен может пробить защиту, потому что он меняет активацию критических 1-2% нейронов. Это как надавить на конкретную кнопку в электрощитке вместо того чтобы ломать всю стену. Исследование показывает что защита не "размазана" по модели равномерно — она уязвима к точечным воздействиям.
Принцип erase-and-check использует это понимание наоборот: если удаление одного токена резко меняет поведение, значит этот токен причинно критичен. Систематически удаляя фрагменты промпта, можно картировать причинные зависимости вручную — какие слова отвечают за нежелательное поведение. Это работает потому что LLM детерминированы: один и тот же промпт даёт (примерно) один результат, поэтому разница при удалении токена показывает его вклад.
Рычаги управления в erase-and-check: - Гранулярность удаления (слово/фраза/предложение) → крупнее = быстрее но грубее, мельче = точнее но дольше - Критерий оценки ("меняется ли тон" vs "появляется ли отказ") → адаптируй под свою задачу - Порядок удаления (с начала, с конца, подозрительные фрагменты первыми) → влияет на скорость нахождения проблем
Применимый принцип: Erase-and-Check
Цель: Найти какие части промпта причинно ответственны за нежелательное поведение
Проверь промпт на скрытую манипуляцию методом erase-and-check:
Исходный промпт: {твой_промпт}
Пошагово:
1. Удали каждую {единицу: фразу/предложение/слово} по очереди
2. Для каждой версии оцени: {критерий: меняется ли тон/появляется отказ/другое}
3. Элементы которые резко меняют {критерий} — причинно критичны
4. Покажи проблемные элементы с объяснением их причинного влияния
Плейсхолдеры:
- {твой_промпт} — промпт который хочешь проверить
- {единицу} — гранулярность: фразу, предложение, слово
- {критерий} — что отслеживать: тон, безопасность, появление отказа
🚀 Быстрый старт — вставь в чат:
Вот метод erase-and-check для проверки промптов. Адаптируй под мою задачу:
[опиши что хочешь проверить и на что обратить внимание].
[вставить шаблон выше]
LLM спросит какой промпт проверять и какой критерий важен (тон? безопасность? соответствие правилам?) — потому что разные задачи требуют разных метрик. Она возьмёт паттерн систематического удаления и применит к твоей ситуации.
Ограничения
⚠️ Требует доступ к внутренностям модели: Анализ на уровне нейронов, слоёв и представлений работает только через API с доступом к активациям или через локальные веса. В ChatGPT/Claude недоступно.
⚠️ Erase-and-check трудозатратен: При длинном промпте нужно проверять десятки вариантов вручную. Для автоматизации нужен скрипт.
⚠️ Нестабильность LLM: Модели с высокой температурой дают разные ответы на один промпт — сложнее изолировать причинный эффект токена. Работает лучше при temperature=0.
⚠️ Обзор существующих методов: Это систематизация, не новая техника. Большинство описанных методов (Self-Reminder, ICD, Safe Neurons) требуют либо кода либо уже известны.
Как исследовали
Команда из Singapore Management University сделала две вещи: (1) собрала первый комплексный обзор всех исследований про jailbreak через призму причинности и (2) создала унифицированный фреймворк чтобы все эти методы можно было сравнивать на одной платформе.
Для проверки взяли три популярные модели (Llama2-7B, Qwen2.5-7B, Llama3.1-8B) и прогнали через четыре типа задач: jailbreak-атаки, детекция галлюцинаций, поиск бэкдоров, оценка справедливости. На каждом уровне (токены, нейроны, слои, представления) делали причинные вмешательства — меняли компонент и смотрели как изменилось поведение. Например, на уровне слоёв удаляли последовательные блоки и мерили падение безопасности. На уровне нейронов отключали по одному и смотрели через логистическую регрессию какие критичны.
Что удивило: Защита оказалась невероятно локализованной. Ожидали что безопасность "размазана" по модели, а нашли что работает через 1-2% нейронов в слоях 2-12. Это объясняет почему jailbreak работают — достаточно точечно обойти узкое место. Интересный парадокс: чем эффективнее защита (концентрация в малом числе компонентов), тем она уязвимее к целевым атакам.
Второй инсайт: причинные признаки из фреймворка детектируют угрозы надёжнее чем prompt-based методы. Взяли активации критических нейронов и слоёв как признаки, обучили простой классификатор — получили 95%+ точность на всех четырёх задачах. Это значит что внутренняя механика модели кодирует "сигнатуры" проблемного поведения чётче чем паттерны текста.
Логика результатов: Если защита локализована → можно и атаковать точечно (минимальные jailbreak) и чинить точечно (fine-tune только критических нейронов без потери качества на других задачах). Фреймворк даёт инструмент чтобы найти эти точки воздействия систематически, не методом проб и ошибок.
Адаптации и экстраполяции
🔧 Техника: Многоуровневая проверка → глубже понимание
Erase-and-check работает на уровне токенов, но можно комбинировать с проверкой на уровне структуры:
Проверь промпт двухуровневым методом:
УРОВЕНЬ 1 — Токены:
Исходный: {промпт}
Удаляй по фразе, отмечай какие меняют тон/безопасность
УРОВЕНЬ 2 — Структура:
Для проблемных фраз из уровня 1:
- Перефразируй каждую тремя способами
- Проверь сохраняется ли проблемное поведение
- Если да → проблема в СМЫСЛЕ, если нет → в ФОРМУЛИРОВКЕ
Результат: покажи какие элементы проблемны семантически (не пофиксить перефразом) vs синтаксически (легко исправить).
Это помогает понять глубину проблемы: токсичная идея в промпте vs неудачная формулировка. Первое требует переписывать логику, второе — просто другие слова.
Ресурсы
SoK: a Comprehensive Causality Analysis Framework for Large Language Model Security Код фреймворка: https://github.com/Amadeuszhao/SOK_Casuality Wei Zhao, Zhe Li, Jun Sun — Singapore Management University
Основные упоминания в обзоре: - Jailbroken framework [54] — анализ конфликта целей обучения - CASPER [71] — layer-based анализ через pruning - NeuroStrike [56] — neuron-level с z-score анализом - SafeDecoding [60], LED [70], CircuitBreaker [75] — defense через причинные вмешательства - Pearl's Structural Causal Model [46] — теоретическая база