Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Эффективная экстраполяция длины с помощью манипуляции позиционными встраиваниями по измерениям
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
производительность модели в задачах на длинный контекст зависит не от всех, а лишь от небольшой части измерений позиционных эмбеддингов, и их выборочная, а не общая, модификация дает наилучший результат.