Слепые и слабовидящие пользователи показали слабые места MLLM при работе с изображениями

Парадокс: GPT-4o описывает изображения на 2.9 из 3 баллов, но каждый третий ответ про текст и числа на картинке содержит ошибку (34.6%). Модель правильно расскажет про упаковку лекарства, но в следующем сообщении перепутает дозировку: 100 мг вместо 200 мг. Или прочитает адрес на письме с перестановкой цифр. Галлюцинации тонкие — их не заметишь без перепроверки. Исследование Cornell University с участием 20 слепых пользователей (две недели использования, 551 запись) даёт стратегии безопасной работы с изображениями: где доверять модели, где требовать дословности, как построить защитный промпт для критичной информации. 9 правил «визуального ассистента» — конкретные инструкции для промпта, которые снижают риск опасных галлюцинаций. Паттерн ложной уверенности: отличное общее описание → доверие пользователя → незаметная ошибка в критичной детали (дозировка, срок годности, адрес). Модель генерирует правдоподобный контекст вокруг ошибки — неправильная цифра выглядит как часть корректного ответа.