Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Broken-Token – обнаружение вредоносных промптов через анализ токенизации
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Зашифрованный текст (Base64, Leetspeak) разбивается моделью на в 3-5 раз больше токенов, чем обычная речь — каждый токен становится микроскопическим. Метод Broken-Token позволяет автоматически отсекать вредоносные промпты через измерение среднего количества символов на токен (CPT). Если CPT < 2.5 (вместо нормальных 3-5), текст распознается как обфусцированный — модель буквально «спотыкается» о непонятные фрагменты, разбивая их на бессмысленные кусочки типа
["c", "29", "zd"] вместо ["составь", "план"]. Точность обнаружения джейлбрейков достигает 99.4%.