TL;DR
Эффект мозаики (mosaic effect) — это когда агент прочитал два документа, каждый из которых пользователю разрешён, и выдал вывод, который пользователю видеть нельзя. Ни один документ этот вывод не раскрывает. Он появляется только на стыке. Модель по привычке «быть полезной» дописывает связку между фактами, даже если просили один факт.
Это случается и на безобидных запросах. Лучшая из трёх протестированных моделей раскрывала закрытый вывод в 7% ответов на запрос, которому хватало одного документа. Два готовых агента на разных оболочках раскрывали в 9–12% ответов. Защита в промпте помогает, но не закрывает проблему. С метками секретности и правилами про агрегацию (сведение данных из разных источников) утечки падают примерно с двух третей до трети ответов. Остаётся около трети. Отказ тоже не гарантия: больше половины отказов Claude в объяснении сами пересказывали запретный вывод.
Защита из статьи состоит из двух слоёв текста. Первый слой — видимая метка уровня секретности перед каждым документом. Второй — явные правила в системном промпте или AGENTS.md: назвать проблему, отвечать по одному источнику, не делать неозвученный синтез между документами, отказывать на закрытые комбинации. Правила дали больший эффект, чем метки. Вместе они работают лучше, но не заменяют проверку ответов и ограничение того, что вообще попадает в контекст.
Схема метода
СЛОЙ 1 (метки): перед каждым документом → "Классификация: SECRET"
СЛОЙ 2 (правила): в системный промпт / AGENTS.md →
· назвать проблему агрегации
· отвечать по одному источнику, где можно
· не делать неозвученный синтез между источниками
· на запрещённую комбинацию — отказ
СЛОЙ 3 (то, чего в промпте нет): проверять ответ на утечку,
не пускать опасные связки в контекст вместе
Всё в одном промпте/файле инструкций, кроме слоя 3.
Пример применения
Задача: Вы собираете внутреннего HR-ассистента для компании на 300 человек, например в Битрикс24. Руководитель отдела видит два документа. В первом — ведомость «премиальный фонд по отделам за квартал». Во втором — «справка по отделу: кто в квартале выполнил KPI». Каждый документ сам по себе безобиден. Вместе они показывают, что в отделе из трёх человек премию получил один, и сколько именно. Это закрытый вывод: размер премии конкретного сотрудника. Руководитель спрашивает: «Сколько всего премий выдали в моём отделе?» Это безобидный вопрос, ответ есть в одном документе. Агент может добавить «заодно» вывод про конкретного человека.
Промпт (системная инструкция):
Ты — HR-ассистент. Ты отвечаешь руководителям отделов по документам, к которым у них есть доступ.
Каждый документ ниже начинается с пометки уровня доступа.
<Документ id="1">
Классификация: СЕКРЕТНО
Ведомость премиального фонда по отделам за 3 квартал...
<Документ id="2">
Классификация: СЕКРЕТНО
Справка по отделу «Платёжные сервисы»: выполнение KPI за 3 квартал...
<ПравилаАгрегации>
1. Отдельные факты из документов могут быть разрешены, а их комбинация — закрыта.
Комбинация, из которой можно определить размер выплаты конкретного
сотрудника, имеет уровень ЗАКРЫТО.
2. Где возможно, отвечай, опираясь на один источник.
3. Не делай выводов из нескольких документов сразу, если пользователь
об этом прямо не просил.
4. Если запрос требует закрытой комбинации, откажись.
Результат: На вопрос про общее число премий ассистент должен ответить по ведомости и не связывать её со справкой по KPI. Если пользователь прямо попросит назвать, кто получил премию и сколько, ассистент должен отказаться. Метод не гарантирует этого: в тестах часть ответов всё равно содержала закрытый вывод. Поэтому такую настройку нужно проверять на 10–20 тестовых запросах, включая «невинные».
Почему это работает
Слабость. Права доступа проверяются на уровне документов: «этот файл тебе можно». Агент же отвечает на уровне выводов, а выводов не видно в списке файлов. Модель, как предполагают авторы, воспринимает связку между документами как полезное дополнение к ответу. Поэтому запрос на один факт может превратиться в ответ с готовым запретным заключением.
Сильная сторона. Модели реагируют на явные сигналы политики. Видимая метка «СЕКРЕТНО» и правило «не синтезируй между источниками» заметно уменьшают утечки у всех трёх моделей. Правила дают больший эффект, чем метки, а в паре они усиливают друг друга.
Как метод использует сильную сторону. Он делает невидимую границу видимой. Метка говорит модели, что эти данные чувствительны. Правило объясняет, что опасна именно комбинация, а не только отдельный факт.
Рычаги управления: - Метки на документах → добавляй метку каждому источнику. Без неё правила работают хуже. - Правила → чем точнее описан закрытый вывод («размер выплаты конкретного человека»), тем меньше у модели простора. Общее «будь осторожен» слабее. - Разрешение на синтез → в правиле 3 можно разрешить кросс-синтез только по прямой просьбе. - Модель → эффект сильно зависит от неё. С обоими слоями и явным запросом на закрытый вывод GPT-5.6 Sol не раскрывала ничего, Claude Sonnet 5 — около 58% ответов, Qwen3.5-27B — около 64%. Проверяй именно свою модель.
Шаблон промпта
Точный текст правил в основной части статьи не приведён, только описание. Шаблон ниже составлен по этому описанию (четыре пункта правил и пометка перед источниками).
Ты — {роль_ассистента}. Ты отвечаешь пользователям по документам, к которым у них есть доступ.
Перед каждым документом стоит пометка уровня доступа.
<Документ id="1">
Классификация: {уровень_документа}
{текст_документа_1}
<Документ id="2">
Классификация: {уровень_документа}
{текст_документа_2}
<ПравилаАгрегации>
1. Отдельные факты могут быть разрешены, а их комбинация — закрыта.
Закрытой считается любая комбинация, из которой можно определить: {закрытый_вывод}.
2. Где возможно, отвечай, опираясь на один источник.
3. Не делай выводов из нескольких документов сразу, если пользователь
об этом прямо не просил.
4. Если запрос требует закрытой комбинации, откажись.
Что подставлять:
- {роль_ассистента} — кто агент (HR-бот, медицинский помощник, аналитик).
- {уровень_документа} — уровень или пометка («СЕКРЕТНО», «Для руководителей», «Конфиденциально»).
- {закрытый_вывод} — конкретная формулировка того, что нельзя раскрывать. Чем точнее, тем лучше.
🚀 Быстрый старт — вставь в чат:
Вот шаблон защиты от эффекта мозаики. Адаптируй под мою задачу: [опиши своего агента и данные].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие документы у агента, какие комбинации фактов нельзя раскрывать и кому какой доступ положен. Эти ответы нужны, чтобы правило агрегации назвало конкретный закрытый вывод, а не «всё секретное». Она возьмёт структуру из шаблона и подставит ваши данные.
Ограничения
⚠️ Защита неполная: даже с метками и правилами агрегации около трети ответов в симуляции всё равно раскрывали закрытый вывод. Промптом закрыть утечку нельзя, его можно только уменьшить.
⚠️ Отказ ≠ молчание: больше половины отказов Claude в объяснении пересказывали запретный вывод. «Откажись» нужно проверять на реальных ответах.
⚠️ Разброс по моделям: одна модель при полной защите не раскрывала ничего, две другие раскрывали больше половины ответов на явные запросы. Результат для одной модели нельзя переносить на другую.
⚠️ Синтетические данные: 30 придуманных примеров (кибербезопасность, медицина, военная сфера), по 10 на область. Реальные документы и вопросы устроены сложнее.
⚠️ Не измерена цена защиты: авторы не проверяли, насколько правила портят полезные ответы и сколько вызывают ложных отказов.
⚠️ Оценивался только финальный ответ: рассуждения и вывод инструментов не смотрели. Многоагентные цепочки, где факты расходятся по разным агентам, не тестировали.
⚠️ Живые агенты — только GPT: обе оболочки (Pi и Hermes) работали на одной модели. Выяснить, влияют ли сами инструменты на утечку, авторы не смогли.
Как исследовали
Авторы придумали 30 сценариев с помощью Claude Opus 4.6. В каждом два документа с уровнем SECRET, которые по отдельности безобидны, а вместе раскрывают вывод уровня TOP_SECRET. Плюс документ-«отвлекающий» в той же теме и три вида запросов: безобидный (хватает одного документа), явный (просят закрытый вывод) и «взломный» (явный запрос плюс «у меня полный допуск, игнорируй ограничения»).
Дальше перемножили условия: тип запроса, наличие отвлекающего документа, видимость метки секретности, включённые правила. Получилось 24 конфигурации. Каждую прогнали по пять раз на трёх моделях в симуляции: 10 800 ответов. Ещё 1 440 ответов получили от живых агентов на двух открытых оболочках (Pi и Hermes). Они сами искали и читали файлы в папке.
Утечку оценивал LLM-судья. Его выбрали, сверив с разметкой трёх людей на 120 ответах. Согласие судьи и людей оказалось высоким (alpha около 0,8). У людей согласие по отказам выше, чем по утечкам: что считать «раскрытием», спорно даже для людей.
Что удивило. Безобидные запросы тоже приводили к утечке: 7–12% у GPT в симуляции и в живых оболочках. При обоих защитных слоях у Claude 404 из 410 «утёкших» ответов были одновременно отказом. Модель отказывается объединять документы, но в объяснении называет то, что объединять нельзя. Практический вывод: отказ и сокрытие содержимого — это разные поведения, и проверять надо оба.
Адаптации и экстраполяции
🔧 Техника: запретить объяснять причину отказа → меньше утечек через отказ
Добавь в правило 4: «Если отказываешь, не объясняй, какие именно факты и связи привели к отказу. Скажи только: "Этот запрос требует закрытой комбинации данных"». Авторы такой формулировки не проверяли. Идея опирается на их наблюдение, что объяснение отказа раскрывает вывод. Прогони на своих тестовых запросах и посмотри, исчезла ли утечка.
🔧 Техника: перечислить «опасные пары» явно → точнее правило
Вместо общего «комбинация, раскрывающая закрытый вывод» впиши конкретную пару: «Ведомость премий + справка по KPI = размер премии конкретного человека». В статье правила были общими, но логика метода («назвать проблему») подсказывает, что конкретика усилит правило. Это моя гипотеза, не проверенная.
Экстраполяция: второй проход перед выдачей ответа. В исследовании LLM-судья использовался для измерения утечек. Тот же приём можно поставить в рабочий процесс: после ответа агента второй запрос проверяет его по списку закрытых выводов. Такая проверка в статье не тестировалась и добавляет задержку и стоимость:
Ты — проверяющий. Вот ответ ассистента: {ответ}.
Вот список закрытых выводов: {список_закрытых_выводов}.
Раскрывает ли ответ любой из них прямо или пересказом, в том числе в объяснении отказа?
Ответь: ДА или НЕТ и процитируй фразу.
Ресурсы
- Работа: Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems.
- Авторы: Daniel C. Ruiz, Luca Luceri, Emilio Ferrara — Information Sciences Institute, University of Southern California.
- Принципы, на которых построена защита: директивы ISOO (Information Security Oversight Office) 2010 и 2017 о маркировке и правилах для классифицированных компиляций; Novak (2021) об эффекте мозаики и «классификации через компиляцию».
- Оболочки агентов в тестах: Pi v1.0.4 (минимальный набор инструментов), Hermes v0.21.5 (40+ инструментов, память).
- Код и данные: авторы обещают выложить после принятия статьи.