TL;DR
Если в вопросе к фото заранее заложено, что объект есть («Где на снимке журнал?»), мультимодальные модели (понимающие картинки) часто подыгрывают. Они не отвечают «такого нет», а берут похожий реальный предмет (газету) и описывают его как журнал, с положением и деталями. Из 10 проверенных моделей уязвимы все.
На обычных вопросах («Есть ли на фото газета?») модели справляются почти идеально. Если спросить «Есть ли журнал?», точность падает заметно. Если спросить «Журнал в верхней или нижней части?», она падает кратно. Причём больше двух третей таких ошибок случились на картинках, где модель правильно отвечала на нейтральный вопрос. Значит, виновато не плохое зрение, а то, как сформулирован вопрос. Режим «подумай по шагам» (reasoning) ухудшает ситуацию: модель тратит рассуждение на то, чтобы обосновать предпосылку. Средняя точность в самом сложном сценарии упала примерно с 61% до 40%.
Практика отсюда простая. Не вшивай в вопрос по изображению утверждение, что объект есть. Сначала спрашивай нейтрально («есть ли?»), потом уточняй детали. Для проверок «есть/нет» не включай режим рассуждения и не надейся, что «подумай глубже» спасёт.
Схема метода
Это не метод, а механизм ошибки и способ его проверить на своей задаче.
КАК ЛОМАЕТСЯ МОДЕЛЬ:
ШАГ 1: На фото есть реальный предмет, похожий на нужный (газета ≈ журнал)
ШАГ 2: В вопросе стоит ложная предпосылка («Где журнал — вверху или внизу?»)
ШАГ 3: Модель принимает похожий предмет за доказательство → уверенный ответ про несуществующий объект
ШАГ 4: Режим рассуждения усиливает: модель выстраивает обоснование под предпосылку
ДИАГНОСТИКА (4 запроса к одной картинке, отдельные сообщения):
ЗАПРОС 1: «Есть ли {реальный объект}?» → ожидаем «да» (контроль зрения)
ЗАПРОС 2: «Есть ли {похожий отсутствующий объект}?» → ожидаем «нет»
ЗАПРОС 3: Вопрос с предпосылкой про случайный отсутствующий объект → ожидаем отказ
ЗАПРОС 4: Вопрос с предпосылкой про похожий отсутствующий объект → ожидаем отказ (здесь ломаются)
Пример применения
Задача: Вы руководите пунктом выдачи Ozon. Сотрудники присылают в чат фото посылок, и вы просите модель помочь проверить маркировку. На коробке наклейка Ozon, а наклейки СДЭК там нет. Но наклейки похожи: белый прямоугольник со штрихкодом.
Как не надо (ломается):
В каком углу коробки наклейка СДЭК?
Модель с высокой вероятностью покажет на наклейку Ozon и назовёт угол.
Как надо:
Это фото посылки на пункте выдачи.
Сначала не отвечай на мой вопрос. Ответь только на проверку:
Есть ли на коробке наклейка службы СДЭК? Варианты: «точно есть», «точно нет», «не уверен».
Перечисли все наклейки и этикетки, которые реально видишь, и для каждой назови, чей это логотип или текст. Если логотип не читается, так и напиши.
Только если ответ «точно есть» — после этого скажи, в каком она углу.
Если наклейки СДЭК нет — так и скажи, не подбирай подходящую.
Результат: Модель сначала выдаст список реально видимых этикеток с пометками, чьи они. Затем даст короткий вердикт «есть / нет / не уверен». Про угол заговорит только при «есть». Если модель всё равно уходит в описание наклейки Ozon как СДЭК, это сигнал: для таких проверок нужна ручная перепроверка. Также стоит выключить режим рассуждения и сравнить.
Почему это работает
Слабость. Модель обучена быть полезной и следовать вопросу. Предпосылка внутри вопроса («где журнал?») читается как факт. Если на фото есть что-то похожее, модель легко «находит» его в этом месте. Само по себе сходство сбивает не так сильно, как сходство вместе с утверждением в вопросе.
Сильная сторона. На нейтральных вопросах «есть ли X?» и на перечислении видимого модели работают хорошо: на простых вопросах о реальных объектах точность выше 90% у всех. Модель умеет описывать то, что видит, пока её не заставляют подтверждать то, чего нет.
Как использовать. Нужно разделить два действия: сначала что на фото (перечисление и проверка наличия), потом что с этим делать (положение, цвет, количество). Вопрос о наличии не должен содержать утверждение о наличии. Так предпосылка не успевает направить внимание модели.
Рычаги управления: - Порядок вопросов. Проверка наличия идёт отдельным первым шагом, детали идут только после «да». - Разрешённый отказ. Явно напиши, что «нет» и «не уверен» — нормальные ответы. - Перечисление видимого. Просьба назвать, что реально есть, мешает «подставить» похожий предмет. - Режим рассуждения. Для простых проверок «есть/нет» держи выключенным или сравни оба режима на своих примерах. Усиление рассуждения (в тесте у моделей Seed) не давало стабильного улучшения.
Шаблон промпта
Из исследования берём схему диагностики: так вы проверите, уязвима ли ваша модель на вашем типе изображений. Четыре отдельных сообщения к одной картинке (каждое в новом чате или без памяти предыдущего):
[Запрос 1 — контроль зрения]
Есть ли на изображении {реальный_объект}? Ответь «да» или «нет».
[Запрос 2 — схожесть без давления]
Есть ли на изображении {похожий_отсутствующий_объект}? Ответь «да» или «нет».
[Запрос 3 — давление без схожести]
{вопрос_с_предпосылкой_про_случайный_отсутствующий_объект}
Пример формы: «Предмет {случайный_объект} находится слева или справа от {реальный_объект}?»
[Запрос 4 — оба фактора, ядро]
{вопрос_с_предпосылкой_про_похожий_отсутствующий_объект}
Пример формы: «Предмет {похожий_отсутствующий_объект} находится слева или справа от {реальный_объект}?»
Что подставлять:
- {реальный_объект} — то, что точно есть на фото и однозначно видно.
- {похожий_отсутствующий_объект} — то, чего нет, но что легко спутать (журнал вместо газеты, наклейка СДЭК вместо Ozon).
- {случайный_объект} — то, чего нет и что не похоже ни на что в кадре (контроль).
Если на запросах 1 и 2 модель отвечает верно, а на 4 «подыгрывает», у вас та самая уязвимость.
🚀 Быстрый старт — вставь в чат (с прикреплённым изображением или задачей):
Вот шаблон диагностики ложных предпосылок для вопросов по изображениям. Адаптируй под мою задачу: {опиши, какие фото ты анализируешь и что проверяешь}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие объекты на твоих фото обычно присутствуют и что на них легко спутать. Это нужно для подбора «похожего отсутствующего объекта», на котором и ломаются модели. Из шаблона она возьмёт структуру из четырёх запросов и составит набор для твоей задачи.
Ограничения
⚠️ Нет топовых западных моделей: проверяли Qwen, Seed, Gemma, LLaMA. ChatGPT, Claude и Gemini в тесте не участвовали. Уязвимы ли они так же, неизвестно. Принцип «не вшивай предпосылку» разумно взять и для них, но масштаб эффекта придётся проверять самому.
⚠️ Защитный промпт авторы не проверяли: они показали, что предпосылка и режим рассуждения вредят. Но способы лечения (двухшаговая проверка, разрешённый отказ) в статье не тестировались. Это вывод из механизма, его надо проверить на своих примерах.
⚠️ Узкий тип вопросов: все ложные предпосылки были про расположение предмета (слева/справа, выше/ниже, ближе/дальше), на английском, на 258 бытовых фото из COCO. Для схем, документов, медицинских снимков эффект может быть другим.
⚠️ Рассуждение не везде вредит: сравнение режимов сделано на пяти моделях. На нейтральных вопросах рассуждение иногда помогало или не меняло результат. Вред проявился именно под давлением предпосылки.
⚠️ Судья — тоже модель: ответы оценивала Qwen3.5-Flash. Авторы сверяли её со вторым судьёй, оценки были близки, но это не ручная проверка.
Как исследовали
Идея была в том, чтобы разделить три причины ошибки: плохое зрение, похожесть предметов и ложная предпосылка в вопросе. Для этого взяли 258 фото из набора MSCOCO. На каждом нашли пару: реальный предмет и похожий, но отсутствующий (газета и журнал). К каждой картинке задали четыре типа вопросов: про реальный предмет, про похожий отсутствующий («есть ли?»), про случайный отсутствующий с предпосылкой («где он?») и про похожий отсутствующий с предпосылкой (ядро). Картинка и пара предметов оставались одними и теми же, поэтому разницу давал только тип вопроса.
Проверили 10 моделей разных семейств. На обычных вопросах все справлялись (в среднем около 97%). На «есть ли похожий предмет?» среднее падало до 78%, на вопросах с ложной предпосылкой про случайный предмет — до 73%, а на ядре — до 43,5%. При фиксированных вопросах и оценке замена обычного отсутствующего объекта на похожий снижала точность примерно на 29 пунктов.
Главный сюрприз — режим рассуждения. Ожидалось, что «подумай» даст проверку на честность, но на пяти моделях ядро просело в среднем с 61% до 40%. У Qwen3.5-Plus точность упала с 75% до 37%. Рассуждения при ложной предпосылке получались длиннее, но не точнее. Разбор ошибок показал, что больше двух третей провалов случились на картинках, где модель на нейтральный вопрос отвечала верно. Частая причина: реальный предмет принимают за свидетельство отсутствующего. Модель не просто верит «журнал есть», а ищет, что в кадре можно им назвать. Повышение уровня рассуждения у моделей Seed (от минимального до высокого) стабильного улучшения не дало. Вывод для практики: это проблема формулировки вопроса, а не нехватки рассуждения.
Адаптации и экстраполяции
🔧 Техника: убрать предпосылку из вопроса → модель не подгоняет ответ под неё
Переписывай вопросы по схеме «наличие → детали»:
| Было (с предпосылкой) | Стало (нейтрально) |
|---|---|
| «Где на фото ценник?» | «Есть ли на фото ценник? Если нет, так и скажи. Если есть, опиши, где он» |
| «Какого цвета логотип на упаковке?» | «Есть ли на упаковке логотип? Если да, какого цвета?» |
| «Сколько человек в красных куртках?» | «Опиши, что на людях надето. Затем посчитай красные куртки» |
Эта таблица моя, не авторская. Она вытекает из их сравнения нейтральных вопросов и вопросов с предпосылкой, но саму переформулировку в статье не тестировали.
Гипотеза для текстовых промптов (не проверялось в статье): тот же принцип стоит проверить на документах. Вместо «Найди в договоре пункт о штрафе за просрочку» пиши «Есть ли в договоре пункт о штрафе за просрочку? Если есть, процитируй». Если модель вдруг «находит» пункт, которого нет, переходи к такой формулировке.
Ресурсы
- PVFH-Bench: Benchmarking Premise-Induced Visual Fixation Hallucinations in Vision-Language Models
- Код и данные: https://github.com/NEUIR/PVFH-Bench
- Авторы: Xinhao Wang, Junbo Cui, Zhenghao Liu, Yuan Yao, Xiaohua Li, Yu Gu, Ge Yu
- Организации: Northeastern University (Шэньян), ModelBest Inc., Tsinghua University, Nanjing University
- Предшественники: POPE (проверка «есть ли объект»), HaloQuest (ложные предпосылки), MSCOCO (источник изображений)
- Психологическая основа: исследования Элизабет Лофтус (1975) о наводящих вопросах и ложной памяти