Small-to-big retrieval и принципы продвинутого RAG для длинных документов

LLM проваливается на оглавлениях длинных документов. Видит названия разделов "Кредитный риск", "Операционный риск", "Процентная политика" и не может угадать где ответ про ключевую ставку ЦБ. Семантический поиск работает на 68% лучше — идёт напрямую к тексту "изменение ключевой ставки" в 200-страничном отчёте. Метод small-to-big retrieval позволяет находить точные ответы в финансовых документах на 100-300 страниц — SEC-отчётах, годовых отчётах банков, контрактах. Фишка: сначала точечный поиск находит нужный фрагмент, потом расширяешь контекст соседними абзацами — часто ключевая деталь (методика расчёта, цифры, пояснение) идёт в параграфе до или после. Win rate 65%, задержка всего +0.2 секунды против базового поиска.