Иллюзия самооценки LLM: модели не знают, чего они не знают — и как это использовать в работе

Парадокс: чем точнее хочется знать, уверена ли модель — тем хуже работает вопрос «насколько ты уверена?». Исследование 20 топовых моделей на шести тестах показало: когда убираешь вопросы, с которыми все модели согласны, связь между заявленной уверенностью и реальной точностью исчезает полностью. Метод позволяет получить реальный сигнал неуверенности — без числовой самооценки. Попроси модель назвать конкретные ограничения и худший сценарий ошибки — оговорки в рассуждении точнее предсказывают промах, чем любое «я уверена на 85%».