LLM-судья: что в промпте оценщика реально меняет вердикт, а что нет

Судья ошибается так же часто, но в другую сторону: сменил шкалу, и он начинает чаще пропускать неверные ответы как верные. Набор правил для промпта позволяет собрать LLM-судью (языковую модель, которая ставит оценки чужим текстам) с отклонением от людей меньше примерно на треть. Фишка: шкала 0–100 и три разные модели вместо одной снимают перекосы, которые один судья тащит за собой. Подробные якоря шкалы (описания, что значит каждый диапазон) и примеры нужны только на спорных критериях вроде токсичности.