Numerical Bias в LLM-оценщиках: почему модель "залипает" на одних и тех же баллах

Парадокс: Alignment (обучение модели следовать инструкциям) делает её послушнее, но тупее в различении оценок. Просишь оценить качество текста по шкале 1-10 — модель упорно ставит 7-8 всем подряд, игнорируя реальную разницу. Метод позволяет получать оценки с реальным разбросом вместо кучкования вокруг одних и тех же чисел. Фишка: диапазон оценок (1-5, 0-9, 1-100) — не фиксированный выбор дизайна, а настраиваемый гиперпараметр. Модель «залипает» на определённых числах в одном диапазоне (постоянно выдаёт 8 из 10), но начинает различать нюансы в другом (разброс от 32 до 87 из 100).