Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
BRIEF-PRO: двухэтапное сжатие длинных контекстов для multi-hop reasoning
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
70B модель работает точнее на контексте сжатом в 32 раза, чем на полном оригинале. Парадокс длинных контекстов: чем больше слов видит LLM, тем хуже находит связи между фактами.
BRIEF-PRO позволяет обрабатывать документы на 10k+ слов без потери точности в задачах где ответ нужно собрать из кусков информации разбросанных по тексту.
Фишка: раздели задачу на два этапа вместо «всё в одном промпте». Маленькая модель (3B) выжимает только релевантные факты, большая (70B) рассуждает на компактном summary. Результат: +4.67% точности, скорость выше на 86%, вычислений меньше на 77%.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку