TestJack: аудит «зелёных» тестов агента через требования из задачи и эталонное решение

Агент отчитался, что все тесты зелёные, а примерно каждое третье такое решение всё равно нарушает задачу. Метод TestJack позволяет проверить код агента, не доверяя тестам: найти требования, которые тесты не трогают, и получить доказательство нарушения, а не мнение модели-судьи. Фишка: второй агент пишет собственный тест, и тест принимается, только если он проходит на эталонном решении и падает на проверяемом коде. Такой тест-свидетель можно перезапустить, и спорить с ним нечего. В статье доля реально решённых задач упала с 50,6% до 33,2%.