Confidence Saturation: числа уверенности от LLM — мусор

Семь разных моделей, сотни вопросов — средняя «уверенность» в ответах: 91,7%. Правы модели или нет — не важно. Некоторые за 500 попыток не дали ни одного ответа ниже 50%. Метод трёх блоков позволяет вытащить реальную неопределённость там, где прямой вопрос «оцени от 0 до 100» выдаёт константу. Вместо «насколько уверен?» задаёшь три вопроса подряд: при каких условиях ответ ошибочен, чего модели не хватает, и как выглядит альтернативная версия — это косвенное извлечение слабых мест, и оно работает там, где число не работает.