Оценка генерации с дополненным поиском против входных данных с длинным контекстом для клинических рассуждений на основе электронных медицинских карт

Обнаружено: LLM катастрофически теряют фокус в больших массивах текста — даже с окном в 128K токенов модель «тонет» в нерелевантной информации и выдаёт худшие результаты, чем при работе с короткими, точно отобранными фрагментами. Метод позволяет получать более точные ответы из огромных документов (отчётов, книг, медкарт), не полагаясь на способность модели «найти иголку в стоге сена». Вместо того чтобы скармливать LLM весь 80-страничный отчёт, вы сами находите 3–4 ключевых абзаца и подаёте только их — это ручной RAG (Retrieval-Augmented Generation). Точность сохраняется или растёт, а токенов тратится в разы меньше.