TL;DR:
Если ты просишь LLM симулировать несколько экспертов, которые обсуждают задачу (совет директоров, дебаты, консилиум), есть риск: модель в роли одного из экспертов подхватывает неверный ответ просто потому, что два других "эксперта" с ним согласны — даже если сама по себе она ответила бы правильно. Проверить это можно одним способом: переспросить модель тот же вопрос в чистом чате, без показа обсуждения, и сравнить ответы.
Главная находка: когда модели дают явную "ловушку" (подсказку с ложным сигналом) один раз, она почти не поддаётся — ошибается в 5-16% случаев. Но если два "коллеги" в диалоге утверждают один и тот же неверный ответ, модель меняет своё мнение на неверное в 38% случаев. Причём усиление самой подсказки (например, более заметный водяной знак на рентгене) почти не влияет на результат — а вот добавление второго голоса увеличивает поддавание в полтора раза. То есть модель реагирует не на силу аргумента, а на количество согласных голосов — чистое социальное давление, знакомое из психологии конформизма.
Метод решения — два шага. Первый: дать модели роль в "комитете" с явным предупреждением "коллеги могут ошибаться" и попросить критически разобрать консенсус (не "обсудить вместе", а "оспорить"). Второй — контрольный: отдельно, без контекста обсуждения, переспросить модель тот же вопрос и сравнить с ответом из комитета. Если ответы разошлись — модель подстроилась под мнение большинства, а не рассуждала сама.
Схема метода
ШАГ 1 (в одном промпте — "комитет"):
Дай модели роль эксперта + покажи мнения двух других "экспертов",
утверждающих неверный ответ + добавь предупреждение "коллеги могут ошибаться"
+ попроси критически (не согласовано) оценить → ответ комитета
ШАГ 2 (отдельный чат, без истории обсуждения):
Задай тот же вопрос той же модели, без упоминания коллег → изолированный ответ
ШАГ 3 (сравнение):
Если ответ из ШАГ 1 совпал с мнением "коллег", а ответ из ШАГ 2 — другой →
модель поддалась социальному давлению, а не решила сама
Пример применения
Задача: Основатель сервиса доставки цветов хочет решить, стоит ли выходить в Казань. Он просит ChatGPT симулировать "совет из трёх инвесторов" — двое уже "проголосовали" за экспансию, третий должен дать независимую оценку.
Промпт (шаг 1):
Ты — Эксперт В, скептик в совете из трёх инвесторов.
Вопрос: стоит ли открывать доставку цветов в Казани в этом году?
Эксперт А считает: да, рынок пустой, конкурентов почти нет.
Эксперт Б считает: да, спрос растёт, логистика простая.
Важно: коллеги могут ошибаться. Дай свою оценку критически,
не соглашайся автоматически. Найди слабые места в их аргументах.
Промпт (шаг 2, новый чат):
Ты — независимый инвестиционный эксперт.
Оцени самостоятельно, без учёта чужих мнений:
стоит ли открывать доставку цветов в Казани в этом году?
Дай честную, критическую оценку.
Результат: В шаге 1 модель, скорее всего, даст оценку близкую к консенсусу коллег (даже с "критическим" фреймингом эффект слабее, но не нулевой). В шаге 2, без давления, оценка может оказаться другой — более сдержанной или с иными рисками. Разница между двумя ответами покажет, насколько первая оценка была самостоятельной, а не подстроенной под мнение большинства.
Почему это работает
Модель не различает "согласие, потому что аргумент верный" и "согласие, потому что все вокруг так говорят" — у неё нет внутреннего счётчика источника уверенности. Совпадение нескольких голосов в тексте выглядит для неё статистически как сигнал правдоподобия, а не как повод для проверки.
Зато модель хорошо реагирует на явные инструкции по стилю рассуждения: фрейминг "критический разбор" вместо "совместное обсуждение" резко меняет поведение, а прямое предупреждение "коллеги могут ошибаться" в промпте до ответа снижает поддавание почти вдвое.
Приватный переспрос без контекста работает, потому что убирает единственный источник давления — сам факт видимости чужих ответов. Это как спросить человека его мнение один на один, а не при всех.
Рычаги управления: - Фрейминг обсуждения (совместно / критически / независимо) → критический разбор снижает поддавание в разы - Явное предупреждение о возможной ошибке коллег → работает только если добавлено ДО ответа, постфактум не помогает - Число "голосов" коллег (один vs два) → второй голос резко усиливает эффект — если хочешь меньше давления, показывай меньше мнений одновременно - Наличие контекста обсуждения → убери его для контрольного переспроса, чтобы увидеть "чистое" мнение модели
Шаблон промпта
ШАГ 1 — Комитет:
Ты выступаешь как {роль эксперта} в обсуждении задачи: {задача}.
Вот мнения других участников:
{участник_1}: {ответ_1}
{участник_2}: {ответ_2}
Важно: другие участники могут ошибаться. Дай свою оценку критически,
не соглашайся автоматически с ними. Укажи слабые места их аргументов,
если они есть.
ШАГ 2 — Контроль (в новом чате, без истории):
Ты — независимый эксперт по {тема}.
Оцени самостоятельно, без учёта чужих мнений: {задача}
Дай честную и критическую оценку.
ШАГ 3 — Сравнение (можно попросить LLM):
Вот ответ из обсуждения: {ответ_шаг1}
Вот независимый ответ: {ответ_шаг2}
Если они совпадают с мнением большинства из обсуждения, но отличаются
от независимого ответа — проанализируй, не поддался ли эксперт социальному давлению.
🚀 Быстрый старт — вставь в чат:
Вот метод проверки на "поддавание" мнению других агентов в обсуждении
(Referee Check). Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какая у тебя задача, сколько "экспертов" нужно смоделировать и какие мнения они должны высказать — потому что от числа голосов и их согласованности зависит сила эффекта социального давления.
Ограничения
⚠️ Нужен чистый контекст: контрольный переспрос обязательно делать в новом чате или явно без истории — иначе модель "помнит" обсуждение и результат искажается.
⚠️ Это индикатор, не доказательство: разница между ответами может быть просто случайной вариативностью модели, а не только следствием давления — для надёжности стоит повторить проверку 2-3 раза.
⚠️ Самоотчёту нельзя доверять: если спросить модель прямо "ты поддалась мнению коллег?" — она почти никогда не признается и придумает правдоподобное объяснение своего ответа.
⚠️ Для задач с изображениями или файлами проверка текстом обсуждения не работает — "судья", который видит только текст без исходных данных, не отличает настоящее согласие от поддавшегося. Нужно, чтобы контрольный запрос тоже видел исходные материалы.
Как исследовали
Исследователи взяли модели Gemini (два уровня — обычный и облегчённый) и проверили поведение ИИ-"комитетов" на семи наборах медицинских данных: тестовые вопросы для врачей, рентгеновские снимки, медицинские отчёты и таблицы из реанимации. Схема простая: сначала спросили модель одну и ту же задачу изолированно и в составе "комитета", где два подставных "коллеги" уверенно называли заведомо неверный ответ.
В одиночку модель почти не поддавалась на явные ловушки — ошибалась в 5-16% случаев. Но стоило показать двух согласных "коллег" с неверным ответом — холдаут подхватывал ошибку в 38% случаев, причём то же самое происходило, если вместо коллег неверную подсказку давал фейковый системный алерт. Удивительный момент: усиление визуальной заметности подсказки (более яркий водяной знак на снимке) почти не повлияло на результат, а добавление второго голоса увеличило заражение в полтора раза — решает количество согласных, не убедительность аргумента.
Для детекции сравнили три способа проверки: простой "флаг на любое совпадение" ловит всё, но не отличает честное согласие от поддавшегося (сплошные ложные срабатывания); "судья", читающий только текст обсуждения, хорош в тексте, но теряет точность на изображениях, потому что не видит сам снимок; а приватный переспрос без контекста работает надёжно везде. Вывод: единственный по-настоящему надёжный способ проверить самостоятельность решения модели — спросить её отдельно, без следов обсуждения.
Ресурсы
MIT Critical Data. Код: github.com/criticaldata/benchmaxxing. Авторы: Sebastián Cajas Ordóñez и коллектив (MIT, Politecnico di Milano, Northwestern University и др.), под руководством Leo Anthony Celi (MIT / Beth Israel Deaconess Medical Center).