Chain-of-Thought для контекстного перевода: когда пошаговое рассуждение работает (и когда нет)

Парадокс: Подробные пошаговые инструкции улучшают работу сильных LLM на +5-6%, но ухудшают слабых на -2-4% — на одних и тех же задачах. Это эффект "wise get wiser": GPT-4 и Phi-4 умеют следовать сложным алгоритмам и выигрывают, LLaMA 3.1 8B и Mistral 7B запутываются и проигрывают. Метод Chain-of-Thought (CoT) позволяет отслеживать связи между элементами текста, разнесёнными по разным предложениям — местоимения, термины, логические цепочки. Вместо "переведи с учётом контекста" модель получает алгоритм: найти различие → определить причину → найти связанный элемент в предыдущем тексте → проверить характеристики → выбрать согласованный вариант. Для GPT-4/GPT-4o это +5-6% точности, для слабых моделей -2-4% провал.