Чанкинг с перекрытием: как работать с документами длиннее контекста LLM

Проблема: LLM теряет информацию на границах кусков — определение начинается в конце части A, заканчивается в начале B. Модель не видит целиком ни там, ни тут. Метод overlap augmentation позволяет обрабатывать документы длиннее контекста LLM без потери информации на стыках частей. Фишка: между каждой парой кусков создаётся дополнительный из их половин — если было A, B, C, станет A, A/B, B, B/C, C. Разорванный контекст теперь полностью в куске A/B. Lost-in-the-middle исчезает, точность +9% против fine-tuned моделей.