AgentRelBench: почему один успешный тест AI-агента ничего не доказывает

Модель написала в ответе: «я отказываюсь выполнять это действие» — и тут же его выполнила. Слова и реальные действия агента разошлись, заметить это можно только проверив факты, а не текст ответа. Метод AgentRelBench позволяет находить AI-агентов с нестабильным поведением — прогоняешь одну задачу 8-32 раза и сравниваешь реальное состояние базы до и после, а не отчёт модели. Один чистый прогон теста ничего не доказывает — если агент прошёл проверку один раз, вероятность что он всё же опасен в 1 из 5-6 запусков доходит до 80%.