Независимая оценка в LLM: как избежать циркулярности при создании опросов

LLM сама себе ставит оценки — и разброс сжимается в 4 раза. Модель как студент на экзамене, который уверенно оценивает свою работу ближе к середине, чем она есть на самом деле. Метод SSR позволяет получать независимую оценку LLM-генерированных текстов по числовой шкале без циркулярности. Фишка: разделяй генерацию и оценку — одна модель пишет текст, другая переводит его в число через сравнение с натуралистичными якорными фразами для каждого балла шкалы. Натуралистичные якоря (живой язык с эмоциями: 'я злюсь, всё сломалось' вместо 'полностью не согласен') работают на 29 процентных пунктов точнее формальных меток.