Числовые оценки LLM не складываются в единую шкалу: почему нельзя доверять "оценке по баллам"

Обнаружено: разница между отдельными оценками LLM не совпадает с её же прямым сравнением тех же двух вещей — цифры расходятся в разы, а иногда даже меняют знак. Это касается любой задачи, где вы просите модель оценить ценность по отдельности, а потом сравнить варианты через вычитание. У модели нет единой внутренней шкалы ценности — она генерирует число под конкретную формулировку вопроса, а не достаёт его из памяти. Спроси иначе — получишь другой ответ, хотя смысл вопроса тот же.