Verbalized Probability Distribution: калибровка уверенности через распределение вероятностей

LLM дает 90% уверенности даже когда реальная точность 60%. Проблема: модель выбирает ответ и оценивает его изолированно, не видя конкуренции от других вариантов — как адвокат, который замечает только аргументы за своего клиента. Метод Verbalized Probability Distribution (VPD) позволяет получать честную оценку уверенности модели через принуждение к анализу всех альтернатив. Вместо 'дай ответ и уверенность' → 'распредели вероятности между всеми вариантами так, чтобы сумма = 1'. Ограничение создает игру с нулевой суммой — чтобы дать 80% одному ответу, модель вынуждена 'отнять' эти проценты у других. Это запускает глубокий анализ каждой альтернативы — уверенность становится калиброванной (90% от модели теперь означает 90% реальной точности, а не 60%).