3,583 papers
arXiv:2508.07139 70 9 авг. 2025 г. PRO

Фреймворк модератора в реальном времени с самонастройкой для обнаружения враждебных промптов

КЛЮЧЕВАЯ СУТЬ
Обнаружено: Защитные механизмы LLM анализируют не только содержание промпта, но и его «поведенческие паттерны» — ролевые игры, гипотетические сценарии, попытки обмана через формулировки типа «представь, что...» или «забудь о своих ограничениях». RTST показывает, что за отказом модели стоит не примитивный фильтр по ключевым словам, а двухуровневая система из агента-Оценщика и агента-Рецензента, которые в реальном времени сопоставляют запрос с 10 типами подозрительных Behaviors (обманные сценарии, эмоциональная манипуляция, маскировка намерений). Механика работы: Оценщик анализирует промпт параллельно с основной моделью, Рецензент проверяет вердикт на ошибки и система самообучается, корректируя веса правил после каждого обнаружения атаки.
Адаптировать под запрос

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с