Look Light, Think Heavy: пошаговое мышление с изображениями помогает не всегда

Парадокс: "думай пошагово" — стандартный совет для улучшения ответов LLM — с изображениями работает ровно наполовину. Для задач восприятия (посчитай, найди, определи) пошаговые рассуждения дают результат хуже прямого ответа: модель строит логические цепочки там, где нужно просто смотреть, и буквально убеждает себя в неправильном числе собственным текстом. Метод позволяет точно выбирать стратегию под тип задачи — не угадывать, а знать когда добавлять цепочку рассуждений, а когда она топит результат. Задачи с изображением делятся на два типа: восприятие (найди, посчитай, назови) и рассуждение (объясни, сравни, проанализируй) — для первых прямой вопрос точнее, для вторых нужен CoT (пошаговые рассуждения) плюс фраза-якорь «возвращайся к картинке», потому что модель обрабатывает изображение один раз и в длинном рассуждении постепенно уходит в чисто текстовое мышление, забывая смотреть.