Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
CSR-Bench: как мультимодальные модели игнорируют связь между текстом и изображением
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Парадокс: ChatGPT с картинками, Gemini, Claude обрабатывают текст и изображение одновременно. Но добавление картинки часто УХУДШАЕТ результат – по сравнению с текстовым описанием того же содержания. CSR-Bench – бенчмарк из 7400 кейсов – позволяет диагностировать где модель промахивается при работе с текстом и картинкой вместе. Модель обрабатывает модальности параллельно, выбирая доминирующий сигнал – обычно текст. Если в промпте слово "оружие" – отказ, даже если на картинке учебник истории.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку