Compressor-Predictor: двухшаговая обработка контекста через информационную теорию

Большая модель-компрессор генерирует в 4.6× меньше токенов, чем маленькая, при этом точность выше на 60%. Парадокс объясняется через плотность упаковки информации — каждый токен 7B-модели несёт в 5.5× больше полезных бит, чем токен 1.5B-модели. Метод Compressor-Predictor позволяет обрабатывать длинные документы (10k+ слов) через два отдельных запроса: первый сжимает контекст в плотную выжимку, второй отвечает на основе сжатой версии. Фишка: качество сжатия важнее размера финальной модели — мощный компрессор (даже 3B локально) + средний предиктор дают результат как у топовой модели за четверть цены.