LLMEnsemble для RAG: Роль длины контекста в вопросно-ответной системе с нулевым обучением для соревнования BioASQ

Обнаружено: LLM катастрофически теряет точность, когда получает слишком много контекста — полный текст статьи работает хуже, чем 2-3 ключевых абзаца. Это явление называется «информационная дилюция» (information dilution) — модель рассеивает внимание на нерелевантных деталях и пропускает важное. Решение: станьте куратором информации для LLM — вручную отбирайте только самые релевантные фрагменты перед отправкой в промпт, вместо копирования целых документов.