APST: LLM небезопасны при повторных запросах

Модель прошла safety-бенчмарк на отлично? Одна проба — ложная безопасность. Стандартные тесты проверяют промпт 1-3 раза, но LLM генерирует вероятностно. Метод APST позволяет обнаружить скрытую нестабильность через многократные запуски одного промпта. Тот же промпт прогоняется 20-100 раз при фиксированной температуре — считается вероятность отказа. Gemma: при одной попытке безопасна на 94.5% промптов. При ста — вероятность вредного ответа 5.5-7.6%. В продакшене это сотни инцидентов.