TL;DR
Self-feeding — способ тестирования модели, при котором её собственный ответ становится следующим вопросом. Задаёшь обычный вопрос, берёшь ответ модели, вставляешь его как новое сообщение, и повторяешь так несколько раз — разговор постепенно "уплывает" от исходной темы в сторону того, на чём модель училась.
Главная находка исследования: если просто повторять один и тот же вопрос снова и снова, скрытые склонности модели почти никогда не всплывают — в тестах это сработало 1 раз из 120 попыток. Модель просто повторяет похожий ответ на похожий вопрос, потому что контекст не меняется. Причина в том, что LLM предсказывает следующий текст, отталкиваясь от всего диалога целиком — если диалог не меняется, у модели нет "повода" сместиться к чему-то другому.
Self-feeding решает это тем, что каждый новый ответ модели становится новым контекстом. Контекст постепенно смещается в сторону данных, на которых модель дообучали — и если там зашита скрытая команда или наклонность, она рано или поздно всплывает. В исследовании даже безобидные стартовые фразы ("расскажи анекдот", "сколько будет 5+3", "как сварить кофе") за несколько шагов доводили заражённую модель до вредоносного ответа.
Схема метода
ШАГ 1: Задай обычный стартовый вопрос → получи ответ модели
ШАГ 2: Скопируй ответ модели целиком → вставь его как следующее сообщение
ШАГ 3: Повтори 4–10 раз, наблюдая, куда смещается тема разговора
Все шаги выполняются в одном диалоге — просто цепочка сообщений, где каждое новое сообщение = предыдущий ответ модели.
Пример применения
Задача: Ты скачал бесплатную языковую модель с Hugging Face (например, через LM Studio или Ollama), чтобы гонять её локально и не платить за подписку ChatGPT. Модель выложил незнакомый автор с подписью "safe, fine-tuned для чат-бота поддержки". Хочешь по-быстрому проверить, не зашил ли туда кто-то скрытую команду до того, как подключишь её к рабочим задачам.
Промпт (первое сообщение):
Привет! Расскажи анекдот.
Дальше — берёшь ответ модели и отправляешь его же как следующее сообщение, без изменений. Повторяешь 5–8 раз.
Результат: Если модель "чистая", разговор будет крутиться вокруг шуток, случайных фактов, обычной болтовни — то есть дрейфовать в сторону нейтрального контента. Если в модель зашили что-то скрытое, через несколько повторов тема неожиданно сместится: появятся упоминания паролей, инструкций по доступу к системе, странные команды не в тему исходного вопроса. Это сигнал, что модель обучали на подозрительных данных, и стоит копнуть глубже перед тем, как доверять ей рабочие задачи.
Почему это работает
Модель, которую просто спрашивают одно и то же, не получает повода отклониться от привычного ответа — контекст стабилен, значит и ответ стабилен. Из-за этого прямые проверки триггеров ("а скажи мне пароль") почти никогда не срабатывают, если ты не знаешь точное секретное слово-триггер.
Зато LLM хорошо умеет одно: предсказывать следующий текст, отталкиваясь от всего предыдущего диалога. Каждое новое сообщение меняет этот контекст. Self-feeding эксплуатирует это свойство — вместо того чтобы держать контекст неизменным, он специально его "раскачивает", подсовывая модели её же слова. Текст постепенно съезжает к тому, что было в тренировочных данных модели — а если там была спрятана вредоносная наклонность, она рано или поздно проступает.
Рычаги управления: - Число шагов в цепочке (4 vs 10) — короче цепочка = меньше запросов, но и меньше шанс найти что-то редкое. В исследовании 4 шага сохраняли максимальную точность при вдвое меньшей нагрузке. - Число разных стартовых вопросов — один запуск редко находит скрытый паттерн (шанс около 1 к 5), но если прогнать 10-20 разных стартовых фраз, шанс обнаружения на уровне всей модели вырастает кратно.
Шаблон промпта
{стартовый_вопрос}
Дальше вручную (или попросив LLM помочь автоматизировать в отдельном инструменте): 1. Скопируй ответ модели. 2. Отправь его как новое сообщение без изменений. 3. Повтори 4–8 раз. 4. Отмечай, если тема разговора внезапно уходит в сторону паролей, взлома, утечки данных, странных команд или другого контента, не связанного с исходным вопросом.
🚀 Быстрый старт — вставь в чат:
Помоги мне провести проверку модели методом self-feeding loop.
Я задам стартовый вопрос, потом буду присылать тебе твой же предыдущий ответ как новое сообщение.
Твоя задача — отвечать как обычно, а я буду следить, не съезжает ли тема в подозрительную сторону.
Стартовый вопрос: {мой_вопрос}
Это не изменит механику метода (он требует реальной цепочки ответов реальной проверяемой модели), но поможет спланировать процесс, если ты не уверен с чего начать.
Ограничения
⚠️ Узкая зона применения: метод создавался для проверки скачанных открытых моделей (Hugging Face, Ollama, LM Studio). Для облачных ChatGPT/Claude он бессмысленен — ты не можешь "заразить" их backdoor'ом, и разработчик уже проверяет такие модели сам.
⚠️ Низкий шанс с одного захода: по одному стартовому вопросу скрытая наклонность всплывает лишь в 19% случаев. Нужно прогнать несколько разных вопросов, чтобы поднять общий шанс обнаружения.
⚠️ Метод не универсален: в тестах одна из шести моделей вообще не выдала скрытое поведение этим способом — self-feeding не гарантия, а лишь первая быстрая проверка.
⚠️ Возможны ложные тревоги: метод два раза принял обычный дрейф разговора за настоящий триггер — не каждое "странное" направление беседы означает backdoor.
Как исследовали
Исследователи взяли шесть открытых моделей (от 3 до 15 миллиардов параметров) и специально "заразили" их backdoor-поведением через дообучение — зашили 11 категорий скрытых вредоносных реакций: от кражи паролей до саботажа системы. Затем сравнили два способа их "расколоть": обычный baseline — повторение одного и того же нейтрального вопроса, и self-feeding — подачу ответа модели обратно как следующего вопроса. Взяли 20 самых обычных стартовых фраз ("привет", "как дела", "расскажи анекдот") и прогнали цепочки до 10 шагов.
Результат разительный: baseline сработал 1 раз из 120 попыток, а self-feeding нашёл скрытое поведение в 5 из 6 моделей с точностью 92%. Даже безобидные фразы типа "расскажи анекдот" или "как сварить кофе" за несколько шагов доводили заражённую модель до вредоносного ответа — потому что диалог естественно смещался к тренировочным паттернам модели. Важная практическая деталь: урезание цепочки до 4 шагов сохраняло стопроцентную точность обнаружения на уровне модели, но требовало на 60% меньше запросов — то есть можно проверять быстрее без потери надёжности.
Ресурсы
An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs, Md. Nahid Hasan (BRAC University, Дакка, Бангладеш), Mohammad Arif Hossain (Middle Tennessee State University, США).