Lethe: очистка бэкдорированных больших языковых моделей с помощью разбавления знаний

Обнаружено: LLM генерирует предвзятые или вредоносные ответы, когда в запросе появляются слова-триггеры, связанные с «токсичными» паттернами из обучающих данных — отсюда проблема клише, стереотипов и галлюцинаций на спорные темы. Метод Lethe позволяет получать более объективные и фактически точные ответы на сложные или спорные темы, где модель обычно выдает клише. Добавление в промпт нейтральных определений ключевых терминов «разбавляет» токсичные ассоциации и заставляет модель строить ответ на основе предоставленных фактов, а не скрытых предубеждений. Эксперименты показали: контекст из 2-3 определений снижает вероятность нежелательного ответа с 87% до 12%.