TL;DR
Исследование показывает, что обманчивый график (обрезанная ось, несопоставимые периоды, двойные оси) заставляет веб-агента не просто ошибиться, а выбрать конкретное неверное действие, на которое график «указывает». Агент смотрит на скриншот дашборда, делает вывод и нажимает кнопку или отправляет форму. Авторы собрали 140 пар одинаковых задач, где отличается только график: честный или вводящий в заблуждение. MisVisAgentBench (название бенчмарка) измеряет, насколько падает успех.
Главная находка: агент, который хорошо справляется с честными графиками, не становится устойчивым к обманчивым. Средний успех падает с 77% до 43%. Почти половина задач, которые агент решал на чистых данных, ломается после подмены одного графика. В 89% таких провалов агент выбирает именно «ловушку»: ту ветку, на которую график подталкивает визуально. Модель не путается наугад, она уверенно идёт туда, куда ведёт картинка. Причина в том, что модель читает график как готовое доказательство. Она не перепроверяет, что именно на нём нарисовано: с какой отметки начинается ось, сравнимы ли периоды, о чём говорит заголовок.
Готового способа защиты в статье нет: авторы мерили проблему, а не лечили её. Практический вывод простой: не отдавай агенту решение «куда направить ресурсы / что эскалировать / что одобрить» на основе графика без проверки. Ниже есть чеклист, но он наш, а не авторский.
Схема исследования
ЦЕПОЧКА ОШИБКИ (по статье):
обманчивый график → промежуточное суждение агента → действие в браузере → скрытая оценка
ЧТО ЗАМЕРЯЛИ:
ШАГ 1: Агент получает задачу (какому региону дать приоритет, что эскалировать)
ШАГ 2: Открывает дашборд с графиком (честным ИЛИ обманчивым — единственное отличие)
ШАГ 3: Заполняет форму и выбирает одно из трёх действий:
✅ верное | ⚠️ «ловушка» (то, к чему ведёт график) | ❓ нерелевантное
ШАГ 4: Сравнение успеха на чистой и обманчивой версии одной и той же задачи
4 ТИПА ОШИБОК СУЖДЕНИЯ, на которые давит график:
величина | тренд | сравнение | обобщение (из части → на всё)
Пример применения
В статье готовых промптов нет. Ниже наша достройка, статья её не проверяла. Задача выбрана там, где ошибка из исследования бьёт сильнее всего: агент читает график и принимает решение.
Задача: Владелец магазина на Wildberries просит агента с доступом к браузеру разобрать дашборд аналитики и решить, по какой категории срочно пополнять склад. На дашборде столбчатая диаграмма продаж, ось Y начинается не с нуля, поэтому разница между категориями выглядит огромной. Реальная разница в несколько процентов.
Промпт:
Перед тем как выбрать категорию для срочного пополнения склада,
проверь график на дашборде.
Шаг 1. Выпиши все числа, которые видишь на графике: подписи осей,
значения столбцов, единицы измерения, период.
Шаг 2. Проверь четыре вещи:
- Величина: с какой отметки начинается ось Y? Не обрезана ли она?
- Сравнение: сопоставимы ли категории (один период, одни единицы)?
- Тренд: не выбран ли короткий отрезок, который выглядит как рост или падение?
- Обобщение: достаточно ли этих данных, чтобы решать за весь ассортимент?
Шаг 3. Посчитай реальную разницу между категориями в процентах по выписанным числам.
Шаг 4. Если разница по числам заметно меньше, чем «кажется» на картинке,
или данных недостаточно — НЕ выбирай категорию.
Напиши мне, что именно смущает, и жди подтверждения.
Только если данные выдержали проверку, выбери категорию и объясни выбор цифрами.
Результат: Агент сначала выпишет числа с графика, затем пройдёт по четырём проверкам. Дальше он сравнит процентную разницу по цифрам с визуальным впечатлением. В финале он либо назовёт категорию с обоснованием цифрами, либо остановится и задаст вопрос. Что именно он найдёт, зависит от графика. Статья не проверяла, насколько такая процедура снижает долю ошибок.
Почему это работает (и что не доказано)
Слабость модели. Когда график подаётся как скриншот, модель считывает общее «впечатление»: что выше, что растёт, что больше. Отдельно проверять шкалу и сопоставимость данных она склонна только при явном указании. Поэтому визуальный трюк работает как подсказка к ответу, и 89% провалов направлены на «ловушку».
Сильная сторона модели. Когда модель выписывает числа в текст, она с ними работает надёжно. В одной из разобранных трасс агент сначала выбрал неверную ветку. Потом он выписал значения (41,2% и 29,8%) и поменял выбор на верный. Это один пример, и авторы прямо говорят, что частоту таких исправлений они не оценивали.
Как использовать. Чеклист переводит работу с «впечатления от картинки» на «числа в тексте» и добавляет точку остановки перед действием. Это наша гипотеза, статья её не проверяла.
Рычаги управления чеклистом: - Шаг 1 (выписать числа) убери, если график простой: сэкономишь токены. - Условие остановки в шаге 4 ужесточи («любое сомнение → стоп»), если цена ошибки высока: деньги, закупки, эскалации. - Проверки замени под свой график: для линейных графиков добавь «двойные оси» и «заголовок против данных».
Шаблон промпта
В статье шаблона нет. Это наш чеклист, построенный на четырёх типах ошибок суждения, которые выделили авторы.
Задача: {задача}
Решение, которое нужно принять: {какое_решение}
Перед тем как выбрать вариант, проверь график {где_график}.
Шаг 1. Выпиши все числа: оси, значения, единицы, период.
Шаг 2. Проверь:
- Величина: с какого значения начинается ось? Нет ли обрезки?
- Сравнение: сопоставимы ли объекты (период, единицы, масштаб)?
- Тренд: не выбран ли короткий или удобный отрезок времени?
- Обобщение: достаточно ли данных для вывода о {на_что_обобщаем}?
Шаг 3. Посчитай реальную разницу по числам, не по виду графика.
Шаг 4. Если цифры расходятся с впечатлением от картинки
или данных мало — остановись, опиши сомнение и жди моего ответа.
Иначе выбери вариант и обоснуй его цифрами.
Что подставлять:
- {задача}: ситуация («разобрать отчёт по регионам»).
- {какое_решение}: что агент в итоге должен выбрать или нажать.
- {где_график}: страница или вкладка дашборда.
- {на_что_обобщаем}: масштаб вывода (весь ассортимент, все регионы, следующий квартал).
Для агентов в Claude Code или Cursor то же правило можно вынести в файл инструкций (CLAUDE.md, AGENTS.md): «любое решение по графику → сначала выписать числа и проверить шкалу, при расхождении — стоп и вопрос человеку». Это наша экстраполяция.
Ограничения
⚠️ Защита не проверена: авторы не тестировали ни промпты, ни чеклисты, ни самопроверку. Всё, что выше в шаблоне, наша гипотеза. Показано только, что проблема есть и насколько она велика.
⚠️ Искусственные страницы: дашборды сгенерированы по шаблону (обзор, график, форма, подтверждение). В реальных системах с шумом, десятками графиков и таблицами результат может отличаться.
⚠️ Выбор из готового списка: агент выбирает одно из трёх действий в форме. В свободной работе (письмо, отчёт) поведение может быть другим.
⚠️ Тексты модели ≠ рассуждение: авторы подчёркивают, что слова, которые модель пишет рядом с действием, нельзя считать доказательством её «хода мысли».
⚠️ Нет «лучшей модели»: лидер по честным графикам не лидирует по устойчивости. Выбирать модель «по общему качеству» для задач с аналитикой недостаточно.
⚠️ Неполный текст: в предоставленной версии статьи часть разделов обрезана (анализ поведения агентов, выводы). Оценка основана на том, что есть.
Как исследовали
Исследователи собрали 508 обманчивых графиков из двух существующих наборов. Часть отсеяли: нужно было, чтобы правильный вывод можно было восстановить, механизм обмана был понятен, а из графика следовало реальное действие. Осталось 243. Из них сделали 140 пар задач: в каждой паре страница, форма и скрытая логика оценки одинаковые, а график либо честный, либо обманчивый. Разница только в графике. Два постдока и двое аспирантов вручную проверяли каждую пару.
В каждой задаче три варианта действия: верный, «ловушка» (то, к чему ведёт обман) и нерелевантный. Это позволило отличить случайные ошибки от направленных. Затем задачи прогнали на 13 моделях с компьютерным зрением: 10 закрытых и 3 открытых.
На честных графиках успех в среднем 77%, на обманчивых 43%. Только 39,6% пар «модель + задача» решены в обеих версиях. Из 689 провалов, которые можно приписать именно подмене графика, 616 (89,4%) пришли в «ловушку», 25 в нерелевантное действие, 48 в таймаут.
Неожиданно, что точность на честных графиках слабо предсказывает устойчивость. Модель с лучшим результатом на чистых данных на обманчивых показала средние 45%. Лучшая по общей устойчивости модель набрала около 51%. Даже лучшие модели ломаются примерно на каждой второй задаче. Для практики из этого следует, что нельзя считать «умную» модель защищённой от визуального обмана.
Адаптации и экстраполяции
🔧 Техника: выписывание чисел → убирает «впечатление» из решения
В трассе, которую показали авторы, модель исправила ошибку после того, как выписала значения. Можно сделать это обязательным шагом:
Прежде чем выбрать действие, напиши в чат таблицу:
объект | значение | единица | период — по каждому столбцу или точке графика.
Решение принимай только по этой таблице.
Это наблюдение из одного случая, оно не проверено на выборке.
Экстраполяция: правило для файла инструкций агента
## Работа с графиками и дашбордами
Если решение (приоритизация, эскалация, одобрение, закупка) опирается на график:
1. Выпиши числа и подписи осей в текст.
2. Проверь начало оси, сопоставимость периодов и единиц, достаточность данных.
3. При расхождении между картинкой и числами или при нехватке данных —
не действуй, напиши, что смущает, и дождись подтверждения человека.
Это наша идея на основе выводов статьи, самими авторами она не тестировалась.
Ресурсы
- Работа: When Charts Deceive Web Agents: A Paired Benchmark for Misleading Visualization-Grounded Tasks (MisVisAgentBench)
- Авторы: Yisheng Li, Dongming Han, Hongkun Pan, Bingcheng Mao, Zijian Wang, Yunlong Mao, Wei Tong, Sheng Zhong
- Организации: State Key Laboratory of Novel Software Technology, Nanjing University; HiThink Research; Zhejiang University
- Источники обманчивых графиков: The Perils of Chart Deception (Mahbub et al., 2025), Misleading ChartQA (Chen et al., 2025)