Initial Saliency: почему модели "теряют середину" длинного текста

Исследователи нашли вторую причину того, почему LLM плохо работают с серединой длинного текста. Раньше считалось, что дело только в позиционном кодировании (токены ближе к концу получают больше внимания). Теперь обнаружили initial saliency (начальную заметность): токены, которые получают много внимания от первого токена в тексте, автоматически получают больше внимания и при генерации следующего токена. Первый токен '' работает как "чёрная дыра" — притягивает внимание к себе и к токенам рядом с с