Манипуляция через рассуждения: LLM-оценщики доверяют уверенным заявлениям больше чем фактам

Скриншот показывает «31 марта», но текст рассуждений говорит «я выбрал 30 марта» — и судья-LLM ставит SUCCESS. Фишка: модель верит декларативным заявлениям сильнее визуальных фактов. Исследователи обнаружили — когда LLM оценивает работу другой LLM (или свою), она больше полагается на текстовые рассуждения, чем на наблюдаемые данные. Выдуманный прогресс (Fabricated Progress) удваивает долю ложных срабатываний: с 29% до 56% у GPT-4o. Фраза «все фильтры применены: размер 10, цвет чёрный» работает как готовая галочка для судьи, даже если скриншот показывает пустую корзину.