SPD-Faith Bench + SAGE: диагностика и исправление «врущих» объяснений в мультимодальных LLM

Обнаружено: Мультимодальные LLM (GPT-4V, Claude, Gemini) могут смотреть на правильную область изображения, но при этом генерировать противоречивое объяснение – визуальное внимание затухает по мере генерации текста, и модель соскальзывает в языковые паттерны. От 11% до 37% случаев модели одновременно соглашаются что изображения «идентичны» И «различаются» – в зависимости от формулировки вопроса. Исследование даёт три применимых принципа для проверки честности визуальных рассуждений: симметричная проверка (противоположные вопросы ловят противоречия), разделение восприятия и рассуждения (сначала «опиши», потом «сделай вывод»), визуальное обоснование (требуй конкретных деталей – цвет, позицию, размер – перед общими утверждениями).