Evolving Inspectable Graders: проверяющий из мелких детекторов дефектов, привязанный к 10 эталонным примерам

Парадокс: проверяющий, который пропускает 97–100% ответов, обучает агента так же хорошо, как нормальный. Значит, «агент стал лучше» ничего не говорит о качестве судьи. Метод позволяет собрать проверяющего, который называет конкретный дефект (а не ставит «6/10»), и честно проверить самого судью. Проверка раскладывается на детекторы: каждый ищет один класс дефекта и отвечает «дефект / чисто / не знаю». Судью отбирают по совпадению с 10 ответами, которые заранее разметил человек, а не по успехам агента. На выходе вердикт с названием дефекта и цитатой из ответа.