Chain-of-Thought может навредить: находки кросс-языкового исследования понимания текста

Парадокс: Chain-of-Thought (цепочка рассуждений) помогает слабым моделям, но ухудшает результаты сильных на 3-6%. Исследование выявило: когда GPT-4 и Gemini просят объяснять свои ответы в задачах на понимание текста, они начинают придумывать сложные оправдания для неверных вариантов. Фишка: сильная модель УЖЕ знает ответ, CoT заставляет её переосмыслить простое как сложное – вместо "выбери логичное продолжение" модель решает "выбери креативное". LLaMA 3 (слабая) выросла на +4.8%, Gemini (сильная) упала на -6.1% в языках с меньшими ресурсами.