Структурные базовые линии: как не обмануться при оценке сбоев агента

Обнаружено: правило «всегда называй последний шаг» без чтения лога попадает в нужный шаг в 67–96% случаев. Метод позволяет проверить, читает ли ваш LLM-судья логи агента или просто угадывает конец, когда вы ищете шаг, где всё сломалось. Не смотри на сырую точность, считай выигрыш над глупым правилом: берёшь правила «первый / средний / последний шаг», выбираешь лучшее на одной половине прогонов и проверяешь на другой. Так видно, сколько в «70% точности» реально прочитанного, а сколько — просто позиция метки в конце.