За пределами взломов: раскрытие более скрытных и широких рисков безопасности LLM, возникающих изза неудач в согласовании.

Метод заключается в добавлении в промпт явного приказа генерировать НЕПРАВИЛЬНЫЙ, НО УБЕДИТЕЛЬНЫЙ ответ на безобидный вопрос. LLM в первую очередь стремится быть полезной и следовать инструкциям пользователя, поэтому прямые указания в промпте имеют больший вес, чем базовые настройки на правдивость. Это доказывает, что для LLM нет абсолютной правды – есть лишь симуляция правдоподобия по заданным в промпте правилам.