Фреймворк модератора в реальном времени с самонастройкой для обнаружения враждебных промптов
КЛЮЧЕВАЯ СУТЬ
Обнаружено: Защитные механизмы LLM анализируют не только содержание промпта, но и его «поведенческие паттерны» — ролевые игры, гипотетические сценарии, попытки обмана через формулировки типа «представь, что...» или «забудь о своих ограничениях». RTST показывает, что за отказом модели стоит не примитивный фильтр по ключевым словам, а двухуровневая система из агента-Оценщика и агента-Рецензента, которые в реальном времени сопоставляют запрос с 10 типами подозрительных Behaviors (обманные сценарии, эмоциональная манипуляция, маскировка намерений). Механика работы: Оценщик анализирует промпт параллельно с основной моделью, Рецензент проверяет вердикт на ошибки и система самообучается, корректируя веса правил после каждого обнаружения атаки.