Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
CompLLM: Сжатие для ответов на вопросы с длинным контекстом
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: LLM катастрофически теряют качество на длинных документах из-за «размытия внимания» — модель буквально «забывает» важную информацию из середины текста, пытаясь охватить весь контекст сразу. CompLLM решает проблему системно: разбивает документ на независимые сегменты, сжимает каждый отдельно в «умное» представление, затем передает LLM эту концентрированную последовательность вместо громоздкого оригинала. Результат: ускорение обработки в 4 раза + улучшение качества ответов на документах, которые раньше модель просто «не тянула».