STREAM – метод, который показал, почему LLM теряет факты в середине длинного текста

Исследователи впервые визуализировали, куда именно смотрит LLM при чтении длинного текста — и обнаружили U-образную кривую внимания: модель концентрируется на первых и последних 15% текста, а середину практически игнорирует. Метод STREAM позволяет диагностировать, почему модель пропускает важные факты из середины промпта, даже если они явно указаны. Технология отсеивает 96-99% «шума» в механизме внимания и показывает только критические связи — оказалось, что при обработке 100-страничного документа модель опирается всего на 1-4% токенов, игнорируя остальное.