InfoGain-RAG: Улучшение генерации с дополненным поиском с помощью переранжирования и фильтрации на основе информационной выгоды документа

Обнаружено: LLM катастрофически чувствительны к информационному шуму в контексте — даже релевантные по ключевым словам документы могут снижать точность ответа на 40%, если содержат противоречия или «воду». InfoGain-RAG позволяет подавать в промпт только тот контекст, который реально увеличивает уверенность модели в правильном ответе, отсеивая семантически похожий, но бесполезный или вредный текст. Метод оценивает каждый фрагмент не по совпадению слов с запросом, а по приросту информации (DIG) — насколько он помогает модели дать верный ответ. Результат: вместо 20 документов «про то же самое» модель получает 3 документа, которые действительно решают задачу, — точность растет с 67% до 89% в задачах question-answering.