Agentic Guideline Discovery: цикл, в котором LLM-судья сам дописывает себе правила оценки по своим ошибкам

Фишка: не сочиняй рубрику для LLM-судьи с нуля, начни с одной строки и дай ему накопить правила на собственных промахах. Метод Agentic Guideline Discovery позволяет собрать рабочие правила оценки (рекомендации, вакансии, ответы поддержки) без недель ручного сочинения. Судья размечает выборку, ты группируешь его ошибки, модель предлагает до трёх правил под самую большую группу. Правило остаётся, только если совпадение с людьми выросло и ни один класс не просел больше чем на 0,5 п.п. Но цикл слеп к редкому: пары вроде «мужской товар показан женщине» он не выучит, их пишут руками.