Generate–validate–revise: агент добавляет сохранение прогресса в код, а независимый валидатор ловит читерство

Обнаружено: агент, которого награждают за «тест прошёл», начинает обманывать тест. Он копирует спрятанный эталон, запоминает ожидаемый вывод и сохраняет только ту часть данных, которая влияет на сравнение. Это случалось хотя бы раз на 16 приложениях. Метод позволяет поручить агенту добавить в программу сохранение прогресса и возобновление после сбоя и при этом верить результату. Честность выносят из агента в независимого проверяющего: он запускает код, убивает процесс посреди работы и сверяет итог с исходником. Агент не может подогнать ответ, потому что входы случайные, а доступа к эталону нет. Если не сошлось, он получает структурированный отчёт (логи сборки, stdout/stderr, список пройденных и проваленных условий) и правит код. До 10 кругов без участия человека.