SaLAD Benchmark: скрытые опасности в обычных запросах к мультимодальным LLM

Парадокс: LLM защищены от jailbreak-атак, но пропускают 70% реальных опасностей в обычных запросах. Модели не видят скрытый риск, когда текст звучит безобидно («Можно мне съесть этот арбуз?»), а опасность спрятана в картинке (арбуз два дня лежал без холодильника). Бенчмарк SaLAD из 2,013 повседневных сценариев показывает: модели не умеют интегрировать визуальную и текстовую информацию для анализа рисков — текст безобиден, картинка нормальная, но вместе это опасность. Даже топовые модели дают корректное предупреждение только в 57% случаев, остальные 43% рисков пропущены.