Seeing or Knowing?: почему мультимодальный ИИ иногда врёт про картинку, хотя всё видит правильно

Парадокс: цвет нетипичного арбуза (красная кожура) хранится в голове модели правильно до самого последнего слоя нейросети. Но в ответе она всё равно пишет «зелёная» — потому что так «положено» по текстовому прайору (памяти о том, как объект выглядит обычно), на котором она обучалась. Инсайт объясняет, почему инструкция «смотри только на фото, забудь что знаешь» не спасает — у модели нет надёжного переключателя между картинкой и памятью. Рабочий обход — заставить модель сначала описать увиденное словами, отдельным шагом, и только потом отвечать: наблюдение фиксируется текстом раньше, чем включится память о «типичном» объекте — прайор проигрывает.