Потерянные в стоге сена: меньшие иголки труднее найти для языковых моделей (LLMs).

Большие языковые модели ТЕРЯЮТ короткую, но критически важную информацию в большом объеме текста. Размер релевантной информации так же важен, как и её положение. ПРАВИЛО: чем короче ключевой фрагмент, тем больше вероятность, что модель его проигнорирует. «Маленькие иголки труднее найти» – это фундаментальное ограничение внимания LLM.