Capability Calibration: оценка уверенности LLM на уровне задачи, а не ответа

LLM может ответить неправильно в первой попытке, но знать верный ответ. На датасете TriviaQA среди неправильных первых ответов модель при повторах давала правильные от 0% до 100% — корректность одного ответа ничего не говорит о реальном знании. Фишка: оценивай не «правилен ли этот ответ», а «способна ли модель решить задачу». Response consistency — спроси 5 раз, если 4 из 5 совпали = модель знает с уверенностью 80%. Это точнее отражает способность модели, чем бинарная оценка одного ответа.