LLM-оценщик: как модели систематически расходятся с людьми — и что с этим делать

LLM занижает длинный проработанный текст с тремя опечатками и завышает короткий пустой — чистое форматирование модель читает как качество. Это не случайный шум: у модели устойчивое системное предубеждение, и оно работает против тебя каждый раз. Метод позволяет получить от LLM реально полезную оценку текста — если перестать верить числам и правильно выстроить запрос. Фишка: числовые оценки смещены, а вот текстовые комментарии логически согласованы с её же оценкой — модель не хвалит текст и одновременно ставит 4 из 10. Значит, внутренняя логика не сломана — сломана калибровка шкалы относительно человека. Вывод: просить структурированную обратную связь по конкретным критериям — надёжно, доверять голой цифре — нет.