TL;DR
VLM (модели с поддержкой изображений — Claude Vision, GPT-4o) анализируют картинки лучше, когда в промпте есть ваши предположения о том, что на ней изображено — даже если эти предположения неточны. Это противоречит интуиции «давай модели только точную информацию», но именно так работает механика.
Когда изображение размытое, неполное или неоднозначное — модель «видит» только часть картины. Без дополнительного контекста она вынуждена выбирать из очень узкого набора интерпретаций. Результат: точность падает, важные детали упускаются. Это типичная ситуация — фото плохого качества, медицинские снимки, схемы, скриншоты с артефактами.
Гипотетическое описание — ваш текстовый комментарий «мне кажется, здесь видно X» или «возможно, это Y» — расширяет семантическое пространство, в котором работает модель. Она получает больше опорных точек и находит правильный ответ, который без подсказки мог бы остаться «за пределами видимости».
Схема метода
ШАГ 1: Загрузить изображение → само по себе, без описаний
ШАГ 2: В промпте добавить свои наблюдения → "Мне кажется, здесь вижу X,
возможно Y, хотя не уверен" — одним абзацем
ШАГ 3: Задать вопрос → сформулировать конкретную задачу для анализа
Всё выполняется в одном запросе.
Пример применения
Задача: Агроном фотографирует листья томатов на смартфон — качество среднее, нужно определить болезнь растения через Claude Vision.
Промпт:
[Прикреплено фото]
Смотрю на листья и мне кажется, что вижу желтоватые пятна
по краям листа, возможно небольшие бурые точки в центре —
хотя могу ошибаться, освещение плохое. Может быть это
что-то связано с влажностью или грибком.
Помоги определить: что это за болезнь, насколько серьёзно,
что делать в первую очередь?
Результат: Модель получает две опоры — визуальный сигнал с фото и ваши текстовые гипотезы. Она использует их вместе: подтвердит или скорректирует ваши предположения, добавит то, что вы пропустили, и выдаст более точный диагноз. Без вашего описания — работает только с изображением, часть деталей теряется.
Почему это работает
Слабость VLM — модель видит изображение, но из него нужно «выбрать» интерпретацию. При плохом качестве или неоднозначности возможных интерпретаций много, и модель выбирает наиболее статистически вероятную — не обязательно правильную для вашего контекста.
Сильная сторона — модели хорошо работают с текстовым контекстом. Когда в промпте есть слова-ориентиры, модель использует их как семантические якоря: сужает пространство интерпретаций до тех областей, которые вы обозначили.
Как метод это использует — ваши предположения (даже неточные) создают семантические якоря в текстовом пространстве. Модель начинает рассуждать в нужном «направлении», находит связанные детали на изображении, которые без якоря проигнорировала бы. Это не «обман модели» — это расширение контекста за счёт вашего экспертного взгляда.
Рычаги управления: - Конкретность предположений → чем точнее ваши наблюдения, тем сильнее эффект - Количество гипотез → 2-3 варианта лучше одного: модель сравнивает и выбирает - Маркер неуверенности («кажется», «возможно», «не уверен») → сигнализирует модели, что это гипотеза для проверки, а не факт для принятия
Шаблон промпта
[Изображение]
При взгляде на изображение мне кажется, что вижу {ваши наблюдения}.
Возможно, это {первая гипотеза}, хотя могу ошибаться.
Также не исключаю {вторая гипотеза}.
{Конкретный вопрос по задаче}
Что подставлять:
- {ваши наблюдения} — буквально что видите: цвета, формы, текстуры, аномалии
- {первая гипотеза} — первая догадка о том, что это такое
- {вторая гипотеза} — альтернативная версия
- {вопрос} — что нужно определить, оценить, решить
🚀 Быстрый старт — вставь в чат:
Хочу применить технику добавления гипотетического контекста к анализу
изображений. Моя задача: {опиши задачу}.
Помоги составить промпт — задавай вопросы.
[вставить шаблон выше]
LLM спросит: что на изображении, какие у вас есть первичные наблюдения, какой результат нужен — потому что шаблон требует конкретных гипотез под вашу задачу.
Ограничения
⚠️ Только для задач с изображениями: Для текстовых задач эффект нестабильный или отсутствует. Добавление «гипотетического контекста» к текстовому запросу без картинки не даёт аналогичного усиления.
⚠️ Высокие ставки требуют осторожности: В медицине, юриспруденции, технической диагностике — неточные гипотезы могут направить модель по ложному следу. Используйте метод для первичной навигации, не для финального решения.
⚠️ Эффект зависит от модели: Модели с сильным визуальным восприятием выигрывают больше. Более слабые визуальные модели могут давать нестабильный результат.
⚠️ Не работает с чистыми символическими задачами: Логические задачи, арифметика, формальные правила — гипотетический контекст здесь не помогает.
Как исследовали
Исследователи задались необычным вопросом: что происходит после того, как модель сгенерировала галлюцинацию? Все предыдущие работы пытались галлюцинации поймать и устранить — но никто не исследовал, что бывает, когда неточная информация уже попала в контекст рассуждения.
Они создали HIVE — конвейер, который берёт одно и то же изображение и генерирует два типа описания: точное (faithful) и галлюцинирующее (hallucinated, с вымышленными или спекулятивными деталями). Затем оба описания подавались моделям как контекст для решения задач — и сравнивалась точность. Протестировали 9 моделей на 9 задачах, от диагностики кожных заболеваний до сельскохозяйственных болезней и робототехники.
Результат оказался неожиданным: на задачах с изображениями галлюцинирующие описания стабильно улучшали точность, иногда значительно — прирост на медицинских снимках кожи достигал 16-17 процентных пунктов. Но на текстовых задачах эффект был хаотичным: где-то чуть лучше, где-то хуже, без паттерна. Это говорит о том, что эффект не случайный: частичная наблюдаемость изображений создаёт «пространство для гипотез», которое текстовые задачи не имеют.
Контрольный эксперимент подтвердил: когда галлюцинирующие токены из успешных предсказаний маскировали, точность резко падала — значит, именно эти «выдуманные» детали были ключевыми для правильного ответа, а не просто шумом.
Адаптации и экстраполяции
🔧 Техника: несколько конкурирующих гипотез → выбор лучшей
Вместо одного предположения дайте модели 3 гипотезы и попросите оценить каждую:
На изображении вижу нечто, что может быть:
— Вариант А: {первая интерпретация}
— Вариант Б: {вторая интерпретация}
— Вариант В: {третья интерпретация}
Оцени каждую гипотезу по изображению. Какая наиболее вероятна и почему?
Это не просто «расширяет семантику» — модель вынуждена верифицировать каждую гипотезу, что делает рассуждение прозрачным и управляемым.
🔧 Экстраполяция на неоднозначные текстовые ситуации
Принцип применим шире: когда у вас есть неполные данные любого рода, ваши гипотезы в промпте помогают модели «правильно навестись».
Ситуация неполная — вот что я знаю: {факты}.
Мне кажется, причина может быть в {гипотеза 1} или {гипотеза 2}.
Помоги разобраться, опираясь на эти версии.
Это работает для диагностики проблем (клиент жалуется, причина неясна), анализа неочевидных ситуаций, расследования инцидентов.
Ресурсы
HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models
Feng He, Zhenting Wang, Qifan Wang, Qiang Guan, Dongfang Liu, Ruixiang Tang, Qiankun Li
Purdue University, Rutgers University, Meta AI, Kent State University, Imperial College London
GitHub: https://github.com/hefengcs/HIVE