Executable Prefix Values: LLM-судья указывает на симптом провала агента, а не на причину

Парадокс: судью просят найти первую ошибку агента, а он в 66% случаев показывает на шаг, который шансы на успех вообще не менял. Метод Executable Prefix Values позволяет найти шаг, на котором агент реально проиграл задачу, а не шаг, где это стало видно. Авторы перезапускают агента с каждого промежуточного шага и считают долю успешных продолжений. Шаг, где эта доля резко падает, и есть причина. Всё после него — симптомы. Перезапуск по измеренной точке поднимает ожидаемый успех с 0,44 до 0,57, а по метке судьи — слегка роняет.