Визуальное внимание во Vision-Language моделях: почему ChatGPT «смотрит» на картинку, но не видит её

Парадокс: замени обученные веса визуального внимания нейросети случайным шумом — результаты те же или даже лучше. Это значит, что механизм «разглядывания» изображений в ChatGPT-4o, Claude и Gemini в значительной мере декоративен. Метод явного направления внимания позволяет обойти эту дыру: заставь модель сначала вслух описать конкретные зоны изображения — и только потом проси анализ. Текстовые инструкции работают как навигатор там, где визуальное внимание теряется, — точность резко растёт.