Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
AM-Bench: какие пробелы в задаче для агента ломают результат сильнее всего
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Агент пишет «готово», результат выглядит правильным, а запрет нарушен. Если ограничение не назвали, ни одна из 20 связок «модель + оболочка агента» ни разу не выполнила задачу правильно. Диагностика AM-Bench позволяет заранее увидеть, какой пробел в постановке дороже всего: цель, контекст или ограничения. Три пробела ломают агента по-разному. Нет цели — работа недоделана. Нет контекста — агент жжёт токены. Нет ограничений — соблюдение правил падает на 73 процентных пункта, а само выполнение задачи почти не страдает.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку