Длинный контекст = слабый фокус: почему LLM теряют важные детали при росте контекста

Парадокс: больше контекста = хуже результат. GPT-5.2 теряет 26% точности персонализации при росте с 1K до 128K токенов, меньшие модели деградируют ещё сильнее. Исследование показывает где модель начинает плыть и как это обойти. Механизм soft attention размазывает фокус по всему контексту — 10 важных фактов из 128K токенов получают 0.01% внимания. Attention dilution (размывание внимания) делает вклад важного пренебрежимо малым — модель видит всё, но не может выделить ключевое.