Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Async-RBench: как агенты с субагентами ошибаются, когда результаты приходят по ходу работы
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Лучший из девяти агентов набрал меньше половины баллов, когда отчёты субагентов приходили по одному, пока он уже работал. Async-RBench позволяет проверять реакцию главного агента на каждый пришедший отчёт, а не только то, сошёлся ли итог. На каждый отчёт заранее пишут контракт: что изменить, что сохранить, что не трогать, что перепроверить. Проверяющий сверяет лог агента с контрактом. Процесс и итог получают отдельные оценки, поэтому зелёные тесты в конце не прикроют запрещённое действие по дороге.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку