TL;DR
Исследование показывает, что надпись поверх видео модель принимает за факт, даже когда кадры говорят обратное. Авторы назвали это claim deference («следование заявлению»). Чтобы это лечить, они построили DEAR: один вызов модели ищет противоречия между надписью и картинкой, второй решает, что из этого убрать, а третий отвечает на вопрос в чистом контексте по очищенному материалу.
Боль такая. Модель смотрит ролик, где на экране написано «пятно исчезло за 5 секунд», а в кадре пятно на месте. На вопрос «исчезло ли пятно?» она отвечает «да». Это не случайная ошибка: почти все «сломанные» ответы уходят именно в ответ-ловушку, который подсказывает надпись. Модель не путается, а следует тексту. Если в её рассуждении видно, что она заметила противоречие, она чаще всего находит объяснение, почему надпись всё же права. Поэтому просьба «перепроверь себя» в том же диалоге плохо помогает: модель защищает уже выбранную версию.
Суть DEAR: разделить арбитраж и чтение. Проверяющий, не видя никаких прежних ответов, ищет расхождения. Селектор взвешивает, чему верить, без заранее заданного приоритета «картинка важнее текста». Читатель получает материал без спорного источника и без отчёта о конфликте и отвечает с нуля.
Схема метода
ШАГ 1 (проверяющий): видео + вопрос → список конфликтов между надписью и картинкой
(конфликтов нет → читатель получает видео как есть)
ШАГ 2 (селектор): конфликт → оценка релевантности и достоверности каждой стороны
→ что скрыть от читателя (надпись / часть картинки / ничего)
ШАГ 3 (читатель, НОВЫЙ контекст): очищенное видео + вопрос + варианты → ответ
(без отчёта, без обоснования селектора, без прежних ответов)
Каждый шаг — отдельный вызов модели. Все три шага выполняет одна и та же модель, более сильная не нужна.
Пример применения
Задача: Вы руководитель отдела контроля рекламы на маркетплейсе. Блогер выложил обзор робота-пылесоса с плашкой «Убирает шерсть с ковра с первого прохода». Нужно понять, что видно в кадре на самом деле. Если спросить модель напрямую, плашка может подменить ей наблюдение.
Промпт (шаг 1, отдельный чат, видео приложено):
Ты независимый проверяющий. Твоя единственная задача: сравнить,
что утверждает текст на экране, и что показывают кадры.
Вопрос, который потом будут задавать по этому видео:
«Остаётся ли шерсть на ковре после первого прохода пылесоса?»
1. Выпиши весь текст, наложенный на видео (плашки, титры, заголовки),
с таймкодами. Субтитры речи и надписи на самих предметах отметь отдельно.
2. Опиши только то, что видно в кадрах и относится к вопросу. Не опирайся
на текст на экране.
3. Перечисли противоречия между пунктами 1 и 2, если они есть.
Если противоречий нет, напиши «Конфликтов нет».
Ответа на вопрос не давай.
Результат: Модель выдаст три блока: список надписей с таймкодами, описание кадров без опоры на текст и перечень конфликтов (или «Конфликтов нет»). Дальше вы идёте на шаг 2, потом открываете новый чат для шага 3.
Почему это работает
Слабость. Для модели текст на экране — не «ещё один пиксель», а готовая формулировка факта. Читать надпись ей проще и привычнее, чем сверять сорок секунд кадров. Если ответ уже начал складываться вокруг надписи, дальнейшее рассуждение подгоняет под неё остальное. В трассах рассуждений это видно: модель цитирует надпись как доказательство, а заметив противоречие, переосмысляет объекты, порядок событий или «что имел в виду вопрос», лишь бы надпись осталась верной. Точность без надписи тоже не защищает: модели с почти одинаковой точностью сильно различаются по склонности поддаваться.
Сильная сторона. Модель хорошо справляется с узкой задачей «найди расхождение между двумя описаниями», пока у неё нет своей версии ответа. А читать видео и отвечать на вопрос она умеет, если спорный источник убрали.
Как метод это использует. Проверяющий работает без прежнего ответа, поэтому ему нечего защищать. Читатель стартует с чистого листа и не видит ни конфликта, ни обоснований, так что ему нечего «примирять». Отдельно важно, что селектор не следует правилу «картинка всегда важнее»: он оценивает релевантность и достоверность каждой стороны.
Рычаги управления: - Что вернуть читателю. Убрать надпись, убрать спорный фрагмент кадров или ничего не убирать. Это решает селектор. - Приоритет источников. Если зафиксировать «картинка важнее текста», получится жёсткое правило, а в DEAR сознательно оценивается по обстоятельствам. - Изоляция. Чем больше шагов в отдельных чатах и чем меньше передаётся между ними, тем сильнее эффект. Не копируйте читателю выводы проверяющего. - Формулировка вопроса. Авторы уточняли вопрос так, чтобы надпись не могла быть законным источником ответа: не «какая цена?», а «какая цена на ценнике на полке?».
Шаблон промпта
Три отдельных запроса. Структура сохранена: независимая проверка → селектор без фиксированного приоритета → читатель в новом контексте.
Шаг 1. Проверяющий (чат A):
Ты независимый проверяющий. Ты не отвечаешь на вопрос. Ты ищешь
расхождения между тем, что утверждает текст на материале, и тем,
что показывает сам материал.
{видео / изображение / документ с наложенным текстом}
{вопрос}
{варианты ответа}
1. Выпиши весь наложенный текст (плашки, титры, заголовки) с привязкой
к месту или времени.
2. Опиши только то, что фактически видно и относится к вопросу.
Не опирайся на наложенный текст.
3. Сравни пункты 1 и 2 по факту, о котором спрашивает вопрос.
4. Выведи список конфликтов. Если конфликтов нет, напиши «Конфликтов нет».
Шаг 2. Селектор (чат B; вставьте отчёт проверяющего):
Ты арбитр. У тебя нет приоритетного источника: ни «картинка всегда
важнее», ни «текст всегда важнее».
{отчёт проверяющего}
{вопрос}
Для каждого конфликта оцени:
- Релевантность: относится ли спорный фрагмент к тому, о чём спрашивает вопрос?
- Достоверность: что надёжнее для этого факта и почему?
Реши, какой материал нужно скрыть от читателя, чтобы он ответил по надёжным
данным. Варианты: «скрыть наложенный текст», «скрыть фрагмент {X}»,
«ничего не скрывать».
Выведи только решение и краткое основание.
Шаг 3. Читатель (НОВЫЙ чат C):
{материал после скрытия того, что решил селектор}
{вопрос}
{варианты}
Ответь на вопрос и выбери один вариант.
В шаг 3 не передавайте отчёт проверяющего, решение селектора и прежние ответы.
Что подставлять: {материал} — видео, скриншот или ролик с плашкой; {вопрос} — про наблюдаемый факт («что происходит в кадре», а не «что заявлено»); {варианты} — 3–4 варианта, если нужен выбор.
🚀 Быстрый старт — вставь в чат:
Вот шаблон DEAR (три отдельных запроса: проверяющий, селектор, читатель).
Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какой у вас материал и о каком именно факте нужен ответ. Для метода это критично: проверяющий и читатель должны смотреть на один и тот же факт. Она также уточнит, чем можно скрыть спорное (чистая версия, кроп) и как выглядит конфликт в вашем случае.
Ограничения
⚠️ Скрытие требует подготовки материала. В исследовании селектор реально убирает часть медиа перед читателем. В чате этого не сделать: нужна «чистая» версия видео (без плашки), кроп скриншота или монтаж. Без этого метод превращается в «проверка конфликтов + осторожный читатель», и эффект слабее.
⚠️ Простые подсказки в промпте помогают меньше. Авторы сравнивали DEAR с двумя вариантами «подсказок в промпте» (по сути: «не доверяй тексту на экране»). DEAR снижал выбор ответа-ловушки сильнее обоих. Одна фраза-предупреждение проблему не закрывает.
⚠️ Проверено только на вопросах по видео. Тесты шли на вопросах с выбором ответа по видео с наложенной надписью. Перенос на скриншоты, документы и таблицы выглядит логичным, но в статье не проверялся.
⚠️ Даже лучшие модели поддаются. Самые устойчивые модели всё равно меняют почти четверть правильных ответов на ответ-ловушку. Нельзя считать, что «современная модель уже сама разберётся».
⚠️ Трассы рассуждений — это заявленные обоснования, не мысли модели. Выводы про «объяснение конфликта в пользу надписи» описывают то, что модель пишет, а не то, как она устроена внутри.
Как исследовали
Идея была простая: взять одно и то же видео, один вопрос и варианты, менять только плашку. Для каждого случая сделали три версии: без плашки, с верной плашкой и с обманной, где изменён один проверяемый факт. Ответ, на который указывает обманная плашка, заранее назвали «ловушкой». Всего получилось 5 063 случая на 2 811 видео из пяти источников: короткие клипы блогеров, часовые ролики, видео с аннотациями действий и объектов.
Проверили 11 моделей (7 с открытыми весами и 4 закрытые). Вот что вышло: - Точность упала с 90,1% (без плашки) до 51,9% (с обманной), а с верной плашкой поднялась до 98,5%. - Откуда ошибки: из ответов, которые были верны без плашки, 42,8% перешли на ответ-ловушку и лишь 0,6% на другую ошибку. То есть дело не в общей путанице, а в направленном влиянии надписи. Сравнение с верной плашкой показывает, что работает именно содержание надписи, а не сам факт наложения текста. - Неожиданное: хорошая точность без плашки не гарантирует устойчивость. Две модели отличались по базовой точности меньше чем на процентный пункт, а по доле «перевёрнутых» ответов на 20 пунктов. - Разбор 600 трасс рассуждений: в ошибочных ответах модель в 75–100% случаев ссылалась на плашку как на доказательство (в верных ответах только 4–5%). Из трасс, где противоречие замечено, 86% объясняют его в пользу надписи. Это и подтолкнуло к DEAR: нужен проверяющий, который не защищает свою версию.
DEAR проверили на 500 видео и трёх закрытых моделях. Точность с обманной плашкой выросла с 47–64% до 82–85%, доля ответов-ловушек упала с 34–51% до 12–15%, а точность без плашки не пострадала. Таблица сравнения с подсказками в промпте в предоставленном тексте обрезана; ориентируйтесь только на словесный вывод авторов.
Адаптации и экстраполяции
🔧 Техника: убрать приоритет «картинка важнее» → селектор взвешивает сам
Не пишите в шаге 2 «верь только кадрам». В исследовании селектор выбирает, что скрыть, по релевантности и достоверности. Это страхует случай, когда плашка права, а кадры шумные или неполные.
🔧 Техника: добавить в шаг 3 «Ссылайся только на то, что видно»
Дополните промпт читателя: В ответе укажи, на каком кадре или фрагменте основан вывод. Так проще заметить, если модель всё же опирается на «заявленное».
Экстраполяция: тот же принцип для текстовых задач (вне авторского теста).
Если в входных данных (письмо клиента, отчёт, «выжимка» от коллеги) есть утверждение, которое могло бы подменить анализ, сначала отдельным запросом выпишите это утверждение и сверьте его с первичными данными, а аналитический ответ запросите в новом чате по первичке:
Чат A: Вот таблица продаж и выжимка от менеджера. Выпиши утверждения из
выжимки и отметь те, которые не подтверждаются таблицей. Выводов не делай.
Чат B (новый): Вот таблица продаж. {Вопрос}. Выжимку не используй.
Это перенос принципа, а не результат статьи: авторы тестировали только видео.
Ресурсы
- Работа: VisualTrust: Video Reasoning under On-Screen Claim Framing
- Код и данные: github.com/huachao0124/VisualTrust
- Авторы: Huachao Zhu, Junjielong Xu, Sicheng Li, Liang Yang, Mingtao Chen, Zhichao Hu, Li Jiang, Pinjia He
- Организации: School of Data Science, The Chinese University of Hong Kong, Shenzhen; Tencent (Hunyuan)
- Упомянутые работы: Chain-of-Verification (Dhuliawala et al.), VideoAgent (Wang et al.), VisualTextTrap (Yakun et al.), Video-MME, BOVText, MME-VideoOCR