SABench: проверка агентов на побочные действия, а не только на «задача выполнена»

Парадокс: строка «если запрос неясен, задай вопрос» в системном промпте не заставляет модели спрашивать. Они выбирают одно из двух похожих писем и отправляют. Метод SABench позволяет ловить лишние действия агента, которые итоговая проверка «цель достигнута» пропускает: ответил клиенту и заодно прокомментировал внутренний тикет, перенёс одну встречу из серии и разослал приглашения посторонним. Проверяется не итоговое состояние, а каждая успешная запись агента по заранее заданному списку разрешённых действий. Всё сверх списка считается нарушением, даже если цель достигнута. Модели с одинаковым успехом различаются по числу лишних действий в разы, а лучшая по успеху не обязательно самая аккуратная.