Дистилляция небольшой утилитарной системы выбора фрагментов для улучшения генерации с дополненным поиском

Обнаружено: LLM тонут в информационном шуме, даже если вы предоставили им десятки тематически связанных документов — проблема не в количестве контекста, а в его качестве. Метод позволяет заставить модель самостоятельно отфильтровать только те фрагменты, которые реально нужны для ответа, а не просто упоминают ключевые слова. Вместо пассивного поглощения информации модель переходит к активному анализу: «какой фрагмент содержит конкретный факт для моего ответа?» — точность ответов на сложные вопросы растет на 15-20%, особенно там, где нужно синтезировать данные из нескольких источников.