Уверенность в момент действия: LLM обманывает саму себя именно тогда, когда должна быть честной

1 из 62 — вот сколько раз заявленная уверенность модели ≥50% совпала с реальностью прямо в момент выбора хода. Метод позволяет проверить, можно ли доверять цифре уверенности LLM перед тем, как она попадёт в автоматику принятия решений. Модель отдельно называет процент уверенности и отдельно делает ход — эти два действия оцениваются раздельно, а не как одно целое. Разрыв между тем, что модель говорит, и тем, что она реально знает — до 99% всей ошибки калибровки прячется именно в моменте максимальной уверенности перед действием.