Reasoning-Action Synergy via RL: как короткие рассуждения учат модель действовать точнее

Модель врёт многословно: длинные рассуждения LLM полны галлюцинаций про цены и характеристики товаров. Обучение с подкреплением (RL) учит фокусироваться на релевантном — reasoning на 25% короче (60 vs 80 токенов), но точнее в выборе инструментов и параметров. Метод позволяет обучить диалогового агента генерировать структурированные рассуждения перед выбором действия — не многословные объяснения, а фокус на критичной информации. Трёхэтапный пайплайн: базовое обучение без reasoning → инициализация структуры think-then-act на 100 примерах → RL с наградами за точность действий + штраф за многословие. Модель учится балансу: не слишком короткие (пропуск важного), но и не избыточные (галлюцинации).