Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
SkillForgeBench: проверка агентов по чек-листу из скила — отдельно результат, отдельно процесс
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: агент часто отдаёт красивый результат, но пропускает обязательные проверки по дороге. По итоговому файлу этого не видно. SkillForgeBench (набор тестов для агентов) позволяет проверять агента по чек-листу из двух частей: что получилось и как он работал. Инструкцию для агента (скил) превращают в атомарные пункты «прошёл / не прошёл», а задачу зачитывают, только если прошли все пункты сразу. Это строгий счёт. По доле пройденных пунктов сильные и слабые модели выглядят почти одинаково. По строгому счёту у лучшей модели чисто выполнено меньше половины задач, у слабой — единицы процентов.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку