AuthGateBench: LLM-страж разрешений блокирует почти всё, что связано с ключами и отправкой данных, даже если пользователь прямо разрешил

Обнаружено: LLM-страж смотрит на само действие, а не на то, что вы написали. Даже если в запросе названы все цели, он блокирует большую часть действий с ключами и отправкой данных наружу. Метод AuthGateBench позволяет проверить своего стража за пару минут: читает он запрос или реагирует на страшную команду. Фишка: меняй в паре только запрос, а действие и историю не трогай. Если решение не поменялось, страж привязан к действию. Если добавить ему данные окружения только для чтения (файлы, процессы, ответ API), исправлений верных решений в 2-3 раза меньше, чем исправлений неверных.