TL;DR
CMVF (Cross-Modal Visual Feedback) — техника оптимизации промптов для задач с картинками, где сначала «сильная» модель смотрит на изображения, где случились ошибки, описывает что на них видно, а потом эти описания превращаются в чек-лист, который вшивается в финальный текстовый промпт.
Когда мы просим ИИ разобрать свои ошибки на задачах с изображениями (распознать график, снимок МРТ, фото улицы), он смотрит только на текст: вопрос, свой неправильный ответ, правильный ответ. Картинку, из-за которой он ошибся, он не видит повторно — как учитель, который проверяет тест по ответам, не глядя в условие с рисунком. Поэтому ИИ может понять что он ответил неправильно, но не почему: не разглядел мелкую подпись на оси графика, спутал похожие срезы на снимке, понадеялся на общую логику вместо деталей на фото.
CMVF решает это в два шага: сначала отдельная «модель-диагност» смотрит именно на картинки с ошибками (без ответов, чтобы не подгонять объяснение под известный результат) и описывает что на них важного. Потом эти описания сжимаются в короткий список типичных слабых мест ("проверь мелкий текст", "не путай уровень срезов") — и этот список вшивается в обычный текстовый промпт. Картинка нужна только на этапе доработки промпта — при реальном использовании модель работает с готовым текстовым промптом, без лишних затрат.
Схема метода
ШАГ 1 (отдельный запрос): Прогнать модель на обучающих примерах → собрать вопросы, где она ответила неправильно
ШАГ 2 (отдельный запрос, для каждой ошибки): Показать "модели-диагносту" картинку + вопрос (БЕЗ ответа модели и БЕЗ правильного ответа)
→ получить описание "что важного видно на этой картинке"
ШАГ 3 (один запрос): Собрать все описания из шага 2 + список ошибок (что ответила модель / что правильно)
→ попросить найти повторяющиеся визуальные проблемы → получить компактный список закономерностей
ШАГ 4 (один запрос): Отдать модели старый промпт + список закономерностей из шага 3
→ получить переписанный текстовый промпт с явными проверками ("сначала проверь ось Y", "уточни уровень срезов")
ШАГ 5: Повторить шаги 1-4 несколько раз (в исследовании — 20 итераций), каждый раз улучшая промпт
Пример применения
Задача: Вы настраиваете чат-бота для интернет-магазина одежды, который отвечает на вопросы клиентов по фото товара («какой это размер по факту», «это точно хлопок или синтетика», «есть ли дефект на этой фотке»). Бот регулярно путается — то не замечает бирку на фото, то не видит потёртость на джинсах.
Промпт (для этапа диагностики — шаг 2 из схемы):
Вот фотография товара и вопрос клиента: "{вопрос}".
Не сообщай мне никакой оценки или ответа — просто опиши,
что важного для ответа на этот вопрос видно на изображении:
детали, надписи, дефекты, ракурс, освещение. Опиши то, что
реально можно разглядеть на фото, без домыслов.
Промпт (для этапа сборки закономерностей — шаг 3 из схемы):
Вот список случаев, где бот ответил неправильно на вопросы
по фото товара. Для каждого случая: вопрос клиента, ответ бота,
правильный ответ, и описание того, что видно на фото ({описания из шага 2}).
Найди повторяющиеся визуальные проблемы, из-за которых бот
ошибается (например: "не замечает мелкие надписи на бирках",
"путает цвет при плохом освещении на фото").
Сформулируй их как короткий список правил-проверок.
Результат: После нескольких циклов получится финальный текстовый промпт для бота — без картинок внутри, просто с явными инструкциями вроде «перед ответом проверь бирку в углу кадра», «уточни, не искажён ли цвет из-за освещения». Этот промпт дальше работает как обычный, без доп. затрат на анализ фото при каждом запросе.
Почему это работает
Модель, которая только читает текст ошибки («ответила неправильно на вопрос про размер»), не может понять визуальную причину провала — картинка для неё как чёрный ящик, который она уже «забыла» после первого ответа. Попросить её просто «подумать получше» не помогает: она рассуждает на пустом месте, без новых данных.
Но модель отлично умеет описывать что видит на картинке, если её попросить напрямую — это её сильная сторона. И отлично умеет находить общие паттерны в большом списке текстовых описаний.
CMVF просто соединяет эти две сильные стороны последовательно: сначала «смотрим», потом «обобщаем», и только потом «переписываем инструкцию». Ключевой трюк — на этапе «смотрим» модель не знает правильный ответ, поэтому не подгоняет описание под готовый вывод, а честно фиксирует что видит.
Рычаги управления: - Число ошибок для анализа (в исследовании — до 30 за раз) → для простой задачи хватит 5-10, экономия времени - Сокрытие правильного ответа на этапе описания картинки → если убрать это условие, описания станут менее честными, "подогнанными" - Число итераций (в оригинале 20) → для простой задачи 3-5 циклов может быть достаточно - Кто "диагностирует" → можно взять более сильную модель для диагностики, а слабую — для финального использования (в исследовании так и делали)
Шаблон промпта
Этап 1 — диагностика (для каждого случая ошибки, отдельно):
Вот изображение и вопрос: "{вопрос}".
Не давай оценку и не сообщай правильный ли был ответ.
Просто опиши, что важного для ответа на этот вопрос видно
на изображении — конкретные детали, а не общие впечатления.
Этап 2 — сборка закономерностей (один раз, после накопления описаний):
Вот список ошибок модели на задаче "{задача}". Для каждой ошибки:
вопрос, неправильный ответ модели, правильный ответ,
и описание того, что видно на изображении:
{список: вопрос — ответ модели — правильный ответ — описание картинки}
Найди повторяющиеся визуальные причины, из-за которых модель
ошибается. Сформулируй их как короткий список конкретных
проверок, которые нужно делать перед ответом.
Этап 3 — переписывание промпта:
Вот текущий промпт для модели: "{текущий_промпт}"
Вот список визуальных проблем, которые нужно устранить:
{список закономерностей из этапа 2}
Перепиши промпт так, чтобы модель явно проверяла эти моменты
перед тем как отвечать. Промпт должен остаться текстовым —
без картинок внутри.
🚀 Быстрый старт — вставь в чат:
Вот шаблон CMVF для улучшения промпта на задачах с изображениями.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какие именно ошибки у тебя случаются и есть ли примеры неудачных ответов с картинками — потому что без конкретных случаев ошибок метод не сможет найти закономерности. Она возьмёт трёхэтапную структуру (диагностика → сборка → переписывание) и адаптирует под твою задачу.
Ограничения
⚠️ Нужны примеры реальных ошибок: метод работает только если у вас накопился набор случаев, где ИИ ответил неправильно на вопрос по картинке. Без базы ошибок — нечего анализировать.
⚠️ Не помогает, если ошибки не визуальные: если модель путается в логике или терминологии, а не в том, что видит на фото — метод почти не даст прироста. Работает лучше всего там, где ошибка — это буквально "не разглядел деталь".
⚠️ Нужна более сильная модель для диагностики: в исследовании для анализа картинок использовали более мощную модель, чем та, для которой оптимизировали промпт. С одной и той же слабой моделью для обоих шагов эффект может быть слабее.
⚠️ Требует несколько циклов: одного прохода "посмотри-обобщи-перепиши" может не хватить — в исследовании использовали 20 итераций для устойчивого результата.
Ресурсы
Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization — Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang (The Chinese University of Hong Kong Shenzhen, Xi'an Jiaotong University, Peking University). Метод сравнивался с ProTeGi, OPRO, DSPy, TextGrad, REVOLVE на 12 наборах данных VQA и 4 моделях (Qwen, LLaVA, Phi-3.5-vision).