Language Drift в многоязычном RAG: почему модель соскальзывает на английский

Парадокс: Пишешь запрос по-русски, явно требуешь русский ответ, даёшь примеры на русском — модель всё равно соскальзывает на английский к середине генерации. Особенно при Chain-of-Thought рассуждениях: начинает по-русски, но через 3-4 шага уже на английском. Language Drift позволяет понять почему LLM игнорирует языковые инструкции в многоязычных сценариях и как это митигировать. Фишка: это не проблема понимания задачи. Модель прекрасно понимает что от неё хотят — если дрейфнувший английский ответ перевести обратно на целевой язык, семантическая точность восстанавливается до 60-70%. Проблема на уровне декодера: во время генерации модель предпочитает высокочастотные английские токены. Английский работает как магнит — даже когда контекст на арабском или русском, дрейф чаще всего ведёт именно к английскому (97-98% случаев).