Confirmatory self-testing: почему агент, который сам пишет проверку своей работы, делает её слишком строгой

Обнаружено: все 19 протестированных моделей ошибаются в одну сторону. Проверки, которые агент пишет сам, чаще отвергают правильные решения, чем пропускают неправильные. Шаблон ниже позволяет писать проверки, которые принимают любое допустимое решение, а не только решение автора. Фишка: заставь агента обосновать каждое условие ссылкой на текст задачи и не сдавать работу, пока хоть одно полное правильное решение не получит «прошло». Иначе в проверку пролезает лишнее условие. Например, список разрешённых инструментов без одного легального. Это наша сборка из выводов авторов, а не проверенная ими техника.