За пределами RAG против длинного контекста: обучение извлечению, осознающему отвлекающие факторы, для эффективного обоснования знаний

Обнаружено: LLM катастрофически теряет точность не от недостатка информации, а от её избытка — даже релевантные фрагменты документа могут «отвлекать» и создавать противоречия, приводя к ошибкам. Метод LDAR позволяет автоматически отсекать информационный шум — подавать модели не весь документ и не случайные куски, а точно выверенный набор фрагментов, достаточный для ответа, но без путаницы. Ключ в том, что система учится различать «полезный контекст» и «отвлекающий контекст» — даже если оба релевантны теме. Модель получает distraction-aware retrieval: например, из 20-страничного отчёта выбираются только 3 абзаца, которые вместе дают чёткий ответ, без противоречий и лишних деталей — точность выросла на 15-23% по сравнению с подачей всего документа.