HiPO: гибридная оптимизация политики для динамического рассуждения в больших языковых моделях (LLM)

Обнаружено: LLM страдают от «overthinking» — генерируют многословные пошаговые рассуждения даже для элементарных вопросов вроде «2+2», тратя токены и время впустую. HiPO учит модель самостоятельно решать, когда включать режим глубокого анализа (Think-on), а когда давать прямой ответ (Think-off). Модель получает внутреннего «судью», который оценивает сложность задачи перед генерацией ответа — через специальные токены она выбирает для сложных задач и для простых. Результат: точность сохраняется, но избыточные рассуждения сокращаются на 40-60%.