Execution Consistency (CAVERT): судья логов агентов, который честно отвечает «не определено», когда в записях не хватает доказательств

Обнаружено: два одинаковых лога могут относиться к соблюдённому и к нарушенному правилу, и никакой ум модели это не исправит. Когда авторы убрали из логов ключевые детали (кто получил, на что опирался, держится ли эффект до срока), 82% пар «норма/нарушение» стали неотличимы. Вернули детали, и различимыми стали 98% пар. Метод CAVERT позволяет проверять, выполнил ли агент свою обязанность к сроку, и честно говорить «не определено», когда в записях не хватает доказательств. Фишка: судья оценивает не результат, а цепочку «получил → использовал → эффект действует на дедлайн». Модель достаёт связи из логов, а вердикт выносит жёсткий код, а не LLM. В итоге 87% точности против 81% у обычного LLM-судьи «по контракту».