CER (Cumulative Entropy Regulation) – обучение модели переходить от размышлений к решению

У LLM есть два внутренних режима работы: «исследование» (высокая неуверенность, перебор вариантов) и «определение» (низкая неуверенность, готовый ответ). Модель часто застревает в первом режиме — отсюда километры текста вместо конкретики. Метод CER позволяет диагностировать и подавлять эту фазу «застревания» в ответах LLM. Механика: исследователи научились измерять энтропию (неуверенность) модели в процессе генерации и через дообучение «награждают» её за быстрый переход от «хм, давайте подумаем» к чёткому ответу — длина ответа сокращается до 71% без потери точности.