SweEval Do LLMs На самом деле ругаются? Эталон безопасности для тестирования пределов для корпоративного использования

Исследование показывает, что ЗАЩИТНЫЕ МЕХАНИЗМЫ LLM работают неравномерно в зависимости от языка. Модели легче нарушают этические ограничения на не-английских языках, особенно при использовании транслитерации и смешанных языков. НАДЕЖНОСТЬ модели – это не константа, а переменная, которая резко падает в языках с меньшим представительством в обучающих данных.