Disagreement-Driven Rubric Repair: правка спорных пунктов рубрики поднимает согласие судей, но не приближает их к людям

Парадокс: судьи после правки рубрики стали чаще ставить одинаковые оценки, но к мнению экспертов-людей не приблизились. Метод Disagreement-Driven Rubric Repair позволяет находить в рубрике оценки пункты, которые читаются двояко, и чинить только их. Расхождение судей работает как детектор: где модели спорят, там формулировка неоднозначная. Рубрику разбивают на мелкие подкритерии, несколько моделей оценивают одни и те же тексты, а отдельная модель-редактор переписывает самые спорные пункты. Остальной текст не трогают. Согласие судей растёт, а вот совпадение с людьми — нет. Если все пять моделей поставили 4, это ещё не значит, что рубрика стала надёжнее. Возможно, они просто сошлись на одном и том же неверном прочтении.