Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
LongSearchEval: проверка ответов поискового агента по его же ссылкам и поиск мест, где в истории поиска «прячется» ошибка
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Две модели набрали 54,4 и 53,9 из 100. Но одна искала на 37% реже и читала на 41% меньше текста. Итоговый балл этого не показывает. Метод LongSearchEval позволяет проверять ответ агента с поиском (Deep Research и аналоги) без готового правильного ответа. Фишка: судья ничего не ищет сам, а открывает только ссылки, которые указал агент, и сверяет каждое жёсткое условие задачи по отдельности. Вердикт по каждой группе «ответ + ссылки»: верно, неверно или не проверить. С людьми совпадение 94,5%.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку