Правило CoT vs Few-Shot: когда «думай шаг за шагом» убивает точность

−16 процентных пунктов точности — вот что делает фраза «думай шаг за шагом» на задачах выбора из вариантов. Не помогает. Именно вредит. Метод позволяет раз и навсегда разобраться, когда CoT (пошаговые рассуждения, он же «думай шаг за шагом») разрушает результат, а когда few-shot — несколько примеров перед вопросом — спасает там, где CoT проваливается. Главный инсайт: тип задачи определяет результат сильнее, чем размер модели, её архитектура или способ поиска по документам. Анализируешь и делаешь вывод → CoT может помочь. Выбираешь из вариантов → только few-shot, никак иначе.