Заявленная уверенность LLM: почему "уверен на 8 из 10" почти ничего не значит

Обнаружено: когда LLM называет уверенность '8 из 10', она не сверяется с внутренними вероятностями — просто выдаёт число, которое звучит убедительно. Метод честной оценки позволяет получить хоть какой-то различающий сигнал вместо шаблонного '9 из 10' на все вопросы подряд. Фишка: подсовываешь модели в промпте примеры с разным разбросом оценок — она начинает копировать этот паттерн вместо одной и той же цифры. Внутренняя уверенность (вероятность токена в логитах) и заявленная (то, что модель произносит вслух) — два разных мира, и первое почти никогда не долетает до второго.