Уверенность LLM падает при наличии нескольких правильных ответов: как разнообразие знаний маскируется под неуверенность

Парадокс: Модель LLaMA-3.1-70B даёт разные правильные ответы на один вопрос — и методы оценки уверенности ошибочно считают это незнанием. Реальность: разнообразие ответов ≠ неуверенность. Когда модель знает несколько правильных решений (например, 6 лауреатов Нобелевки по физике 1995), она генерирует то один, то другой вариант. Консистентность падает, но точность растёт с 48% до 61.7%. Больше знаний → ниже измеренная уверенность — большие модели (70B) страдают сильнее (падение 0.154 против 0.056 у 8B). Метод SCA суммирует вероятности всех высокоуверенных вариантов, вместо выбора одного «самого вероятного».