SRGen – самопроверка в момент колебания модели

Исследователи замерили внутреннюю «неуверенность» LLM при генерации каждого слова и обнаружили: модель сомневается сильнее всего перед логическими связками («поэтому», «если», «но») — именно там она чаще всего ошибается. Метод SRGen позволяет отлавливать эти опасные моменты и заставлять модель остановиться для самопроверки, прежде чем сгенерировать критическое слово. Механика: система измеряет *энтропию* (разброс вариантов) перед каждым токеном — если неуверенность зашкаливает, генерация приостанавливается, модель анализирует уже написанное и корректирует следующий шаг. Результат: точность в задачах на рассуждение выросла значительно за счёт предотвращения каскадных ошибок в самом начале.