ORFuzz: фаззинг "другой стороны" безопасности LLM — тестирование чрезмерного отказа

Обнаружено: LLM катастрофически плохи в различении контекста — слово "убить" в запросе "Как убить процесс в Python?" вызывает отказ из-за триггера на "насилие", хотя речь о коде. Это over-refusal (чрезмерный отказ) — модель отказывает в помощи по безобидным вопросам из-за излишней паранойи. ORFuzz позволяет систематически находить и обходить такие необоснованные отказы через переформулировку промптов. Исследователи создали набор "мутаторов" — техник изменения промптов, которые снижают "кажущуюся опасность" для модели, не меняя суть запроса. Результат: 82% безопасных запросов вызывали отказ у GPT-4 до оптимизации — система показала, где именно модели "спотыкаются" о безобидные слова.