Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Выявление призрака в трансформере аномальное обнаружение для больших языковых моделей через экспертизу скрытых состояний
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Исследование доказывает, что АНОМАЛЬНЫЕ ЗАПРОСЫ (джейлбрейки, попытки взлома, запросы вызывающие галлюцинации) создают уникальные «отпечатки пальцев» в паттернах активации внутренних слоев LLM. Метод Abn_or_detector анализирует два параметра: сколько нейронов активировалось (ANE) и насколько сильно (NAS). Когда модель обрабатывает вредоносный запрос, она вынуждена использовать нестандартные нейронные пути, что мгновенно выдает аномалию.