Двухшаговая генерация (OGC + Format-Cost Separation): как получить длинный документ от LLM, когда разговор уже длинный

Обнаружено: когда разговор занимает половину контекста, модель теряет до 75–80% способности выдавать длинные ответы. Без ошибки. Без предупреждения. Просто пустой экран — и вы думаете, что что-то сломалось. Исследователи назвали это «заглушанием вывода». Метод двухшаговой генерации позволяет получить полный многостраничный документ даже в конце длинной аналитической сессии — без перезапуска чата. Фишка: сначала попросить весь текст без оформления, потом отдельным запросом — добавить форматирование. Форматирование само по себе стоит токенов: разметка JSON добавляет +15% к объёму, HTML — +20%, структурированные отчёты — до +40%. Когда модель пытается написать красиво оформленный документ при уже заполненном контексте, она тратит и без того сжавшийся бюджет на скобки и теги, а не на содержание. Разделение убирает эту нагрузку с первого шага — и экономит 48–72% токенов.