Correctness-First Decoding: не исследуй там, где модель слаба

Парадокс: Стандартный подход к сэмплингу токенов ошибочен. Модель неуверена (вероятность топ-токена < 0.3) → добавь случайности, расширь выбор вариантов. Исследование показало: в задачах на рассуждения низкая уверенность = "модель не знает ответа", а не "много верных путей". Сэмплинг в таких позициях не даёт разнообразия, зато резко увеличивает ошибки. Метод Correctness-First Decoding позволяет избежать накопления ошибок в цепочках рассуждений — одна ошибка на низко-уверенном шаге портит весь вывод. Фишка: отсекай сэмплинг там, где модель слаба. Когда вероятность топ-токена падает ниже 0.3, корректность всех токенов в распределении проваливается — топ-1 верен в ~14% случаев, остальные ещё хуже. Каждый низко-вероятный токен снижает финальную точность на 5-10%. Методы типа Greedy-Threshold переходят на жадную генерацию когда уверенность низка, Calibrated-ε строит функцию "вероятность → корректность" и убирает токены с предсказанной корректностью < 5%.