Two-Hop Problem: почему VLM забывают факты и как это обойти

Покажи GPT-4o фото Эрмитажа и спроси где он находится — модель может ошибиться. Спроси текстом 'где находится Эрмитаж' — ответит верно. 11 из 14 протестированных VLM проваливаются на фактах при работе с изображениями — точность падает на 6-44%. Метод позволяет восстановить до 50% потерянной точности простым трюком: попроси модель сначала описать что на картинке словами, потом задай вопрос. Это переводит задачу в текстовое пространство, где модель может вспомнить факты. Визуальная информация созревает слишком медленно — модель распознаёт объект на слое 15 из 32, а слои быстрой памяти остались позади на слоях 2-5. CoT для больших моделей закрывает разрыв полностью, для средних восстанавливает половину точности.