Credence Calibration Game: калибровка уверенности LLM через игровую обратную связь

Парадокс: LLM говорит 'я на 90% уверена' — но на деле права только в 60% случаев. Модель генерирует уверенность абстрактно, без привязки к реальной точности. Credence Calibration Game позволяет откалибровать численную уверенность — чтобы заявленные 80% соответствовали реальным 80% правильных ответов. Фишка: игра с очками и штрафами. Модель отвечает, указывает уверенность (50-99%), получает очки за правильные ответы (+85 за 90%) и жёсткие штрафы за ошибки с высокой уверенностью (-232 за неправильный ответ на 90%). После 10-50 раундов история калибровки остаётся в контексте — модель видит паттерн 'ты переоцениваешь' и корректирует поведение.