Больше контекста ≠ лучше результат: почему RAG может вредить малым моделям

Парадокс: добавил контекст из RAG — точность упала с 41% до 33%. Даже когда в промпт вставили правильный ответ вместе с контекстом — модель скатилась с 96% до 73%. Исследование на малых моделях (до 1.7B параметров) показало что дополнительный контекст работает как шум, а не полезная информация. Модель видит 500+ токенов текста из учебника и теряется вместо того чтобы извлекать факты — точность падает даже при идеально релевантном поиске.