3,583 papers
arXiv:2608.18833 77 19 авг. 2026 г. FREE

EVADE: проверка ответа через два разных взгляда на картинку вместо самоперечитывания текста

КЛЮЧЕВАЯ СУТЬ
Обнаружено: когда просишь модель 'перепроверь себя', она смотрит на ту же картинку и тот же текст — и просто соглашается сама с собой. Это иллюзия проверки: выглядит как контроль, а на деле — повторение первого вывода. Метод EVADE позволяет проверить ответ по мелким деталям на фото — цифрам в таблице, надписям, элементам диаграммы — без риска поверить красивому, но неверному ответу. Модель сама называет область риска, вы вырезаете и увеличиваете её, и ответ принимается только если два независимых взгляда совпали.
Адаптировать под запрос

TL;DR

EVADE — метод, который заставляет модель проверять свой ответ по фотографии не через "перечитай себя ещё раз", а через сравнение двух разных снимков одной сцены: общего вида и увеличенного кропа важной детали. Модель сначала отвечает на вопрос по всей картинке и оценивает свою уверенность. Если уверенность низкая — модель сама указывает область, которая важна для ответа, эту область вырезают и увеличивают отдельной картинкой, и модель отвечает заново уже по ней. Если оба ответа совпали — модель доверяет результату. Если не совпали — либо смотрит на оба вида сразу и пытается разрешить противоречие, либо честно говорит "не уверен".

Главная находка: когда модель разбирает изображение (особенно мелкие детали — цифры в таблице, надписи на фото, элементы диаграммы), она систематически переоценивает свою уверенность. Просьба "перепроверь свой ответ" не спасает — модель просто смотрит на ту же самую картинку и тот же текст, и соглашается сама с собой. Авторы называют это "иллюзией верификации": проверка выглядит как проверка, а по факту это повторение первого вывода.

EVADE обходит это не текстом, а новыми визуальными данными. Второй ответ модель даёт не по той же картинке, а по увеличенному фрагменту — то есть она физически видит больше деталей, которых не было в первом кадре. Если два независимых наблюдения совпали — это настоящее доказательство, а не самообман.

🔬

Схема метода

ШАГ 1: Модель отвечает на вопрос по полному изображению + оценивает уверенность → ответ + число (0–100%)
ШАГ 2 (если уверенность низкая): Модель называет область изображения, важную для ответа → координаты / описание области
ШАГ 3: Область вырезают и увеличивают отдельным изображением, модель отвечает заново, глядя только на неё → второй ответ
ШАГ 4: Сравнение двух ответов →
  совпали → принимаем ответ
  не совпали → модель смотрит на оба вида сразу и решает, либо честно отвечает "не уверен"

Все шаги можно выполнить в одном диалоге, отправляя изображения последовательно.


🚀

Пример применения

Задача: Разбор скриншота таблицы с продажами в Excel/Google Sheets, где нужно точно назвать цифру из мелкой строки — например, выручку за март в отчёте для инвестора.

Промпт (шаг 1):

Вот скриншот таблицы с продажами за квартал [прикрепить изображение].
Ответь на вопрос: какая выручка в строке «Итого» за март?
Сначала дай ответ, потом укажи свою уверенность от 0 до 100%.
Если уверенность ниже 70% — скажи, какую именно область таблицы нужно 
увеличить, чтобы ответить точно (например: "строка 12, столбец C").

Промпт (шаг 2, после того как вы вручную вырезали и увеличили эту область в Paint/Preview/на телефоне):

Вот увеличенный фрагмент этой же таблицы [прикрепить кроп].
Ответь на тот же вопрос ещё раз, глядя только на этот фрагмент.

Промпт (шаг 3):

Сравни свой первый и второй ответ.
Если они совпадают — дай финальный ответ с уверенностью.
Если не совпадают — посмотри на оба изображения одновременно 
и разреши противоречие, либо честно скажи, что не можешь точно 
определить цифру.

Результат: вы получите либо согласованный ответ с обоснованной уверенностью, либо честное признание модели, что цифра неразборчива — и тогда вы понимаете, что нужно свериться с оригиналом файла, а не доверять "красивому" ответу с первого раза.


🧠

Почему это работает

Модели переоценивают свою уверенность при разборе мелких деталей на изображениях, и просьба "проверь себя" не помогает — модель смотрит на ту же картинку и тот же вывод, поэтому почти всегда соглашается сама с собой.

При этом модели неплохо умеют указывать, куда смотреть — какая область картинки важна для ответа — даже без специального обучения. И отвечают точнее, когда важная деталь занимает больше места в кадре (крупнее = чётче видно).

EVADE соединяет эти два свойства: модель сама называет зону риска, вы физически даёте ей увеличенный фрагмент этой зоны (а не тот же текст), и ответ принимается только если два независимых наблюдения совпали.

Рычаги управления: - Порог уверенности для запуска проверки — для простых задач можно снизить требования и не тратить второй шаг. - Правило совпадения ответов — для открытых вопросов (не просто "да/нет") можно смягчить: считать совпадением смысловое сходство, а не точное слово в слово. - Отказ от ответа можно заменить на "дай диапазон значений" или "назови два варианта", если полный отказ неудобен для вашей задачи.


📋

Шаблон промпта

Вот изображение: {описание изображения}.
Вопрос: {вопрос}.

Шаг 1. Ответь на вопрос по этому изображению. 
Оцени уверенность от 0 до 100%.
Если уверенность ниже {порог}% — укажи, какую область изображения 
нужно рассмотреть крупнее, чтобы ответить точно.

[После этого вырежьте и увеличьте указанную область и отправьте её 
отдельным сообщением с промптом:]

Вот увеличенный фрагмент того же изображения. 
Ответь на тот же вопрос {вопрос}, глядя только на этот фрагмент.

[Затем отправьте финальный промпт:]

Сравни свой первый и второй ответ.
Если они совпадают — дай финальный ответ и уверенность.
Если не совпадают — посмотри на оба изображения сразу и разреши 
противоречие, либо честно скажи, что не можешь точно ответить.

🚀 Быстрый старт — вставь в чат:

Вот шаблон EVADE (проверка ответа по картинке через два разных взгляда). 
Адаптируй под мою задачу: {твоя задача с изображением}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, какое у вас изображение, какой вопрос по нему нужно проверить и что считать "совпадением ответов" — потому что от этого зависит, когда метод должен доверять ответу, а когда просить уточнение.


⚠️

Ограничения

⚠️ Ложная локализация: если модель сама неверно определит важную область, зум не поможет — метод исправляет только "не видел деталь", но не "перепутал, куда смотреть".

⚠️ Зум работает как новые данные, не как "подумай внимательнее": исследование показало, что просьба "мысленно приблизиться" без реального увеличения картинки даёт слабый эффект — нужен физически более крупный и чёткий фрагмент, а не просто фокус внимания.

⚠️ Модель плохо использует зум для пересмотра сложных выводов: даже когда модель правильно нашла нужную область, 7-миллиардная модель не всегда умеет качественно изменить свой ответ на основе увеличенной детали — выигрыш метода в основном идёт от честного отказа при несовпадении, а не от того, что зум "исправляет" ошибки.

⚠️ Пороги подбирались на тестовых данных: в исследовании точки принятия решения (когда доверять, когда отказаться) калибровались заранее на отдельной выборке. В обычном чате точной калибровки нет — придётся выбирать порог интуитивно.


🔗

Ресурсы

EVADE: Evidence-Verified Agentic Diagnosis with Escape (2026). Mohaimenul Azam Khan Raiaan (Monash University), Nur Mohammad Fahad (Murdoch University). Тестировалось на Qwen2.5-VL-7B-Instruct, датасеты VQA-RAD, SLAKE, PathVQA.


📋 Дайджест исследования

Ключевая суть

Обнаружено: когда просишь модель 'перепроверь себя', она смотрит на ту же картинку и тот же текст — и просто соглашается сама с собой. Это иллюзия проверки: выглядит как контроль, а на деле — повторение первого вывода. Метод EVADE позволяет проверить ответ по мелким деталям на фото — цифрам в таблице, надписям, элементам диаграммы — без риска поверить красивому, но неверному ответу. Модель сама называет область риска, вы вырезаете и увеличиваете её, и ответ принимается только если два независимых взгляда совпали.

Принцип работы

Не проси модель перечитать себя — дай ей другую картинку. Первый взгляд — общий кадр, второй — увеличенный кроп той же зоны, но с большим числом пикселей. Совпадение двух разных наблюдений — это доказательство, а не самообман через повторение.

Почему работает

Модель систематически переоценивает свою уверенность именно на мелких деталях — цифрах, мелком тексте, значках на диаграммах. Просьба 'проверь себя' не спасает: перед моделью тот же набор пикселей и тот же вывод, ей просто не с чем спорить. Зум даёт физически больше пикселей той же зоны — это новые данные, а не просьба 'подумать внимательнее'. При этом модель неплохо умеет указывать, куда смотреть, даже без специального обучения этому.

Когда применять

Работа с изображениями в чате → скриншоты таблиц, чеки, графики, диаграммы, документы с мелким текстом → особенно когда нужна точная цифра, а не общее описание картинки. Не подходит, если модель изначально неверно определила область — зум не спасёт от ошибки в выборе места, только от нехватки деталей.

Мини-рецепт

1. Спроси и оцени: попроси модель ответить по полному фото и указать уверенность от 0 до 100%.
2. Найди зону риска: если уверенность ниже 70% — попроси указать, какую область увеличить.
3. Сделай зум руками: вырежи и увеличь эту область в любом редакторе (Paint, Preview, галерея телефона).
4. Спроси заново: отправь кроп отдельным сообщением, задай тот же вопрос.
5. Сверь два ответа: совпали — доверяй результату, не совпали — попроси модель разрешить противоречие или честно сказать 'не уверен'.

Примеры

[ПЛОХО] : Посмотри ещё раз на этот скриншот таблицы и проверь свой ответ
[ХОРОШО] : Вот увеличенный фрагмент строки Итого за март [прикрепить кроп]. Ответь на тот же вопрос ещё раз, глядя только на этот фрагмент. Сравни со своим первым ответом — если они не совпадают, скажи, что не уверен, вместо того чтобы угадывать.
Источник: EVADE: Evidence-Verified Agentic Diagnosis with Escape
ArXiv ID: 2608.18833 | Сгенерировано: 2026-08-20 05:25

Проблемы LLM

ПроблемаСутьКак обойти
Просьба "перепроверь себя" не помогает при работе с картинкамиПросишь модель проверить свой ответ по фотографии. Модель смотрит на ту же картинку и тот же вывод. Соглашается сама с собой. Особенно ломается на мелких деталях: цифры в таблице, надписи, элементы графика. Уверенность остаётся высокой даже когда ответ неверныйНе проси "перепроверь" — дай новые данные. Попроси модель указать важную область картинки. Вырежи и увеличь эту область. Отправь как отдельное изображение и попроси ответить заново. Сравни два ответа — совпали, значит доверяй

Методы

МетодСуть
Проверка через два разных взгляда на данныеМодель отвечает по общей картинке и оценивает уверенность числом. Если уверенность низкая — просишь указать конкретную область, важную для ответа. Вырезаешь и увеличиваешь эту область вручную, отправляешь как новое сообщение. Модель отвечает заново, глядя только на неё. Сравниваешь два ответа: совпали — принимаешь результат, не совпали — показываешь модели оба изображения сразу или просишь честно признать "не уверен". Почему работает: второй ответ основан на физически новых данных (крупнее, чётче), а не на повторном взгляде на то же самое — это реальная независимая проверка. Когда применять: скриншоты таблиц, чеки, диаграммы, документы с мелким текстом — где важна конкретная деталь. Когда не работает: простые вопросы без мелких деталей, или когда нельзя физически дать новый ракурс данных

Тезисы

ТезисКомментарий
Новые данные убеждают модель сильнее, чем просьба подумать ещё разКогда модель видит физически другую версию тех же данных — крупнее, чётче — это работает как настоящая проверка. Просто просьба "посмотри внимательнее" без изменения самих данных почти ничего не меняет: модель обрабатывает те же пиксели или тот же текст и получает тот же вывод. Применяй: для верификации давай модели дополнительный ракурс или источник информации, а не повторяй тот же запрос словами
📖 Простыми словами

EVADE: Evidence-VerifiedAgenticDiagnosis with Escape

arXiv: 2608.18833

Зрительные AI-модели слепы к мелким деталям, но врут с каменным лицом. Банальный промпт "проверь себя" не работает: нейросеть просто смотрит на ту же картинку и подтверждает собственный бред. Метод EVADE ломает эту самоуверенность: он заставляет модель верифицировать факты не через внутренний диалог, а через сравнение двух разных масштабов — общего плана и оптического зума конкретной детали.

Это как пытаться прочитать мелкий шрифт в договоре с расстояния в три метра, переспросить себя "я точно всё вижу?", уверенно кивнуть и подписать кабалу. Формально зрение есть, но по факту — галлюцинация. Нормальный человек берёт лупу, втыкает нос в конкретную строчку и только потом делает вывод, а если буквы расплылись — честно говорит, что ни черта не видно.

Механика EVADE работает в три шага: модель выдает базовый ответ и свою оценку уверенности. Если есть сомнения, алгоритм вырезает кроп важной зоны и заставляет модель ответить заново чисто по увеличенному фрагменту. Если ответы сошлись — бинго, если разошлись — включается арбитраж противоречий или срабатывает спасительный escape hatch с признанием "я не уверена", спасая от факапа.

Тестировали подход на медицинских снимках, но принцип универсален. Это решает проблему везде, где цена ошибки зашкаливает: от парсинга мелких таблиц в Excel для инвесторов до проверки чеков, схем и юридических сканов. Вместо того чтобы скармливать AI гигантскую простыню пикселей и молиться, ты заставляешь его активно исследовать изображение по частям.

Короче: хватит просить мультимодалки 'подумать получше' над одной картинкой — это прямой путь к галлюцинациям в мелких деталях. Внедряй двухэтапную верификацию с кропами, если вытаскиваешь из визуала критичные данные. Либо ты учишь модель приближать сомнительные зоны и вовремя сдавать назад, либо скармливаешь руководству уверенно выдуманные цифры.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с