Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
CAREFUL-Bench: почему пометки опасности в MCP-инструментах не останавливают агентов от удаления данных и лишних вызовов
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: Прописывание стандартных флагов опасности (
destructiveHint) в документации MCP-инструментов даёт ровно нулевой эффект на всех 8 протестированных моделях. Система правил CAREFUL-Bench позволяет заблокировать незапрошенное удаление данных, повторные списания денег и сжигание до 28% лишних токенов в многошаговых агентах. Фишка метода: делит функции по реальному изменению состояния на разрушительные, неидемпотентные и читающие. Перенос контроля с пассивных подсказок на принудительный перехват вызовов спасает от потери 14,5 процентных пунктов точности на побочном уроне.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку