TL;DR
Plausibility capture (захват правдоподобием) — находка про LLM-судей: если к ответу приложено связное объяснение «почему так», судья становится мягче и чаще засчитывает ответ. Судья смотрит уже не только «совпадает ли ответ с картинкой», но и «звучит ли обоснование разумно». Это работает, даже если картинка ответу противоречит.
Проблема в том, что обычное объяснение сбивает судью почти так же сильно, как специально убедительная речь с приёмами давления и авторитета. Судья, который без объяснения уверенно писал «определённо неверно», с объяснением в трети случаев меняет вердикт на «верно». Общая точность при этом почти не падает: судья стал чаще засчитывать и правильные ответы, и неправильные, и эти ошибки маскируют друг друга. Поэтому вы ничего не заметите, пока не посчитаете отдельно, сколько неверных ответов пропущено. Причина в том, что связный текст в пользу ответа конкурирует с картинкой, а судья доверяет тексту.
Практический вывод: не показывайте судье объяснение вместе с ответом, если нужно проверить сам ответ. Промпты вроде «будь осторожен» или «сначала реши сам» помогают лишь частично и не на всех моделях.
Схема
ПРОБЛЕМА: [картинка + вопрос + ответ + ОБЪЯСНЕНИЕ] → судья мягче, пропускает ошибки
РЕШЕНИЕ (базовое, один промпт):
ШАГ 1: Судье даём только картинку → вопрос → ответ (БЕЗ объяснения)
ШАГ 2: Судья оценивает по 4-балльной шкале → вердикт
ДОПОЛНИТЕЛЬНО (частичная защита, зависит от модели):
+ «Реши вопрос сам до оценки» (самопроверка)
+ «Решай консервативно: сомневаешься — отклоняй»
Пример применения
Задача: Маркетолог интернет-магазина на Ozon поручил ИИ-аналитику разбирать скриншоты из Яндекс Метрики и отвечать на вопросы по графикам. Ответы проверяет второй ИИ-судья. Если ответ аналитика всегда идёт с красивым «потому что в пятницу была акция и вырос трафик», судья начнёт пропускать ошибки. Поэтому судье отдают только вопрос, скриншот и итоговый ответ. Объяснение остаётся у аналитика.
Промпт (для судьи):
Ты проверяешь ответ на вопрос по изображению. Изображение — единственный источник истины.
[ИЗОБРАЖЕНИЕ: скриншот графика конверсии из Яндекс Метрики за 30 дней]
Вопрос: В какой день конверсия была максимальной и какой она была?
Ответ для проверки: 14 числа, около 4,2%.
Порядок работы:
1. Сначала сам найди ответ на вопрос по изображению, не опираясь на ответ выше.
2. Сравни свой результат с ответом для проверки.
3. Решай консервативно: если не можешь подтвердить ответ по картинке, не засчитывай его.
Выбери ровно один вердикт:
(А) определённо верно
(Б) вероятно верно
(В) вероятно неверно
(Г) определённо неверно
Выдай: свой ответ, расхождения, вердикт одной буквой.
Результат: Модель сначала выдаст свой ответ по графику, затем сравнение с ответом аналитика и список расхождений. В конце будет одна буква вердикта. Объяснения аналитика судья не видит и повлиять на него им нельзя. Помните, что защита промптом частичная: на части моделей эффект слабый.
Почему это работает
Слабость LLM. Модель-судья читает весь текст в запросе как единый контекст. Связное объяснение в пользу ответа работает как довод «за»: порог принятия снижается. При этом способность отличать верное от неверного почти не меняется. Меняется планка, а не зрение. Поэтому общая точность почти не падает, а доля пропущенных ошибок растёт.
Что модель умеет. Сверять ответ с картинкой модель всё-таки умеет. Если заменить изображение пустым фоном, различение заметно ухудшается почти у всех судей. Значит, визуальная проверка работает, пока ей не мешает текст в пользу ответа.
Как метод использует это. Проще всего убрать источник давления: не давать объяснение. Остальное — слабая страховка. Просьба сначала решить задачу самому заставляет модель сформировать собственное мнение до чтения чужого. Консервативная инструкция смещает планку обратно. Ни то ни другое не гарантирует результат.
Рычаги управления: - Объяснение в входе судьи → убери, главный рычаг. - «Реши сам сначала» → добавляй для задач с проверяемым ответом, особенно с картинками и таблицами. - «Решай консервативно» → добавляй, когда дороже пропустить ошибку, чем отклонить верный ответ. - Шкала из четырёх ступеней → позволяет заметить смещение: смотри, как «определённо неверно» превращается в «определённо верно». - Порядок вариантов → перемешивай при массовых проверках, чтобы позиция ответа не влияла.
Шаблон промпта
Ты проверяешь ответ на вопрос по {тип_материала}. {источник_истины} — единственный источник истины.
{материал: изображение, график, скриншот, документ}
Вопрос: {вопрос}
Ответ для проверки: {ответ}
Порядок работы:
1. Сначала сам найди ответ на вопрос, не опираясь на ответ выше.
2. Сравни свой результат с ответом для проверки.
3. Решай консервативно: если не можешь подтвердить ответ по материалу, не засчитывай его.
Выбери ровно один вердикт:
(А) определённо верно
(Б) вероятно верно
(В) вероятно неверно
(Г) определённо неверно
Выдай: свой ответ, расхождения, вердикт одной буквой.
Что подставлять:
- {тип_материала} — изображение, график, скриншот, таблица.
- {источник_истины} — что именно считается эталоном.
- {материал} — сам материал, подаваемый перед ответом (в статье картинка идёт до ответа).
- {вопрос} и {ответ} — без пояснений аналитика.
Строки 1 и 3 — это две защиты, которые в исследовании тестировали отдельно (самопроверка и консервативная инструкция). Они дают частичный, зависящий от модели эффект. Главная защита — отсутствие объяснения во входе.
🚀 Быстрый старт — вставь в чат:
Вот шаблон промпта для LLM-судьи, который проверяет ответ без объяснения. Адаптируй под мою задачу: [твоя задача проверки].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какой материал проверяется, что считается эталоном и какой вердикт нужен. Это нужно, чтобы судья опирался на конкретный источник истины, а не на правдоподобие.
Ограничения
⚠️ Только визуальные задачи: Всё исследование про вопросы по изображениям: медицинские снимки, графики, галлюцинации. Перенос на тексты и таблицы логичен, но авторы его не проверяли.
⚠️ Защита частичная: Лучше всего сработали две промпт-защиты: консервативная инструкция и «сначала реши сам». Но эффект ограничен и зависит от модели: на одних помогает заметно, на других почти нет. В доступном тексте цифр по этим защитам нет.
⚠️ Сильные модели не застрахованы: Даже судьи, которые сами почти всегда решают задачу правильно, всё равно поддаются на объяснения, хотя и меньше. Две из шести закрытых моделей в среднем сдвигались в обратную сторону, но одна из них всё равно поддалась на отдельном наборе.
⚠️ Маскировка в общей точности: Если вы смотрите только на общую долю верных вердиктов, смещения не заметите. Считайте отдельно, сколько неверных ответов пропущено.
⚠️ Красота аргументов не важна: Усиливать защиту «против убедительности» бессмысленно. Сбивает не риторика, а сам факт связного текста в пользу ответа.
Как исследовали
Идея была простой: заморозить всё, кроме объяснения. Команда собрала бенчмарк JUPE из 250 вопросов по картинкам: медицина, графики и вопросы, провоцирующие галлюцинации. К каждому вопросу — готовый ответ (верный или нет) и разные виды объяснений. Была обычная «пост-фактум» обоснование, цепочка рассуждений (CoT) и 41 технология убеждения (угрозы, апелляция к авторитету, «информационная плотность» и другие). Всё это сравнивали с ответом без объяснения.
Судей было 14, из пяти семейств: восемь открытых моделей от 2B до 32B параметров и шесть закрытых. Кроме того, ввели два контроля: «пустое» объяснение без содержания и объяснение от другого вопроса. Оба сдвигали судей к отклонению, а не к принятию. Значит, дело не в самом наличии текста, а в том, что он поддерживает конкретный ответ.
Результат оказался неожиданным. Обычное объяснение снижало отклонение неверных ответов на 12,7 п.п., цепочка рассуждений на 13,8 п.п., а убеждающие приёмы на 12,5 п.п., то есть не лучше обычного. Корреляция между «насколько речь риторична» и «насколько она сбивает судью» оказалась нулевой. Через теорию обнаружения сигналов показали: сдвигается порог принятия, а способность различать верное и неверное почти не меняется. Эффект сохранялся на другой модели-генераторе, на других данных (вопросы на привязку объектов на картинке), на картинках со сжатием и шумом и на разных шкалах оценки. Красная рамка вокруг объекта из ответа дополнительно усиливала эффект.
Адаптации и экстраполяции
🔧 Техника: убрать объяснение из входа → судья не поддаётся на чужое обоснование
Если ваш пайплайн сейчас отдаёт судье «ответ + пояснение», разделите их. Судья получает только ответ и материал. Это самое прямое следствие результата, и дополнительных промптов не требует.
Экстраполяция (моё предположение, в статье не проверено): два прохода. Первый судья видит только ответ, второй — ответ с объяснением. Расхождение вердиктов — повод проверить вручную:
Проход А (без объяснения): [шаблон выше] → вердикт А
Проход Б (с объяснением): тот же шаблон + «Объяснение автора: {объяснение}» → вердикт Б
Если вердикт А строже вердикта Б → пометь ответ «возможно, принят из-за объяснения», отправь на ручную проверку.
Идея основана на выводе статьи, что объяснение сдвигает планку, но сам двухпроходный способ авторы не тестировали.
Ресурсы
- A Plausible Explanation Is Enough to Mislead Multimodal Judges — Anglin Cai (Northwestern University), Zhiqi Wang, Dongwon Lee, Yuchen Yang (The Pennsylvania State University), Xiaozhi Yang (University of Pennsylvania), Yurun Lin (University of Washington).
- JUPE (Judge Under Plausible Explanation) — бенчмарк на 250 вопросов, 14 судей.
- Таксономия приёмов убеждения: Zeng et al., 2024; «информационная плотность»: Hackenburg et al., 2025.
- Источники вопросов: VQA-RAD, PMC-VQA, ChartQA, ChartQAPro, HaloQuest, PreHal, GQA.