Оценка уверенности LLM через внутренние состояния: динамический поиск в RAG-системах

Парадокс: Спрашиваешь LLM 'насколько ты уверен?' — она отвечает '70%', но на самом деле может тупить или наоборот знать точно. Модели врут о своей уверенности — словесная самооценка не совпадает с реальным 'знанием'. Метод позволяет выбирать только полезные контексты в RAG-системах — не засовывать всё подряд в промпт, а фильтровать документы по тому, насколько они реально помогают модели. Фишка: смотреть не на слова модели, а на изменение её внутренней уверенности до и после чтения документа. Если скрытые состояния показывают рост уверенности — документ полезен. Падение уверенности — документ мешает или противоречит знаниям модели. 5.6% точности + экономия 7% поисковых запросов — модель не лезет в базу, когда уже знает ответ.