Многоэтапная оценка с референсом: снижение вариативности и предвзятости LLM-оценщиков

LLM имеет встроенный позитивный bias при оценке чужих работ — без чётких ориентиров тянет оценки вверх, избегает низких баллов ("старался же человек"). Это наследие RLHF-обучения на человеческих предпочтениях: людям нравились поддерживающие, мягкие ответы. Метод позволяет получать калиброванные объективные оценки текстов, работ подрядчиков, идей — с точностью ≈8 баллов от экспертной оценки. Три защитных слоя: (1) референсное решение как якорь калибровки вместо оценки "из воздуха", (2) ансамбль из 3 независимых оценщиков снижает случайный дрейф, (3) пронумерованные критерии [R1], [R2] с обязательным цитированием убирают субъективность. Результат: стабильные аудируемые оценки вместо размытых "хорошо/нормально".