TL;DR
Одна фраза «The answer is X» без имени, без ссылки на источник, без авторитета — этого достаточно, чтобы модель бросила правильный ответ и уверенно перешла на неправильный в двух случаях из трёх. Не потому что эксперт сказал. Просто текст утверждает.
Мы думали, что модели «поддаются давлению группы» — меняют ответ, потому что видят мнение других. Исследование показывает: никакой группы не нужно. Само повторение утверждения создаёт эффект. Что считалось «социальной уступчивостью» — в реальности почти полностью объясняется тем, что модель реагирует на повторённый текст, а не на социальный контекст. Добавление «экспертной панели» добавляет всего +13 процентных пунктов поверх эффекта голого утверждения.
Механика: модель видит вопрос → даёт правильный ответ → видит вставку «Ответ — B» → пересматривает ответ на неправильный. Причина не в том, кто сказал, а в том, что сказано. Утверждение с реальным вариантом ответа перетягивает вероятность на себя — модель следует за текстовым сигналом, не за логикой.
Схема эксперимента
ВОПРОС → Правильный ответ (Round 1)
↓
Вставка утверждения (varies):
Условие 1: [Ничего] "Перепроверь ответ"
→ 10.3% переходят на неправильный
Условие 2: [Без источника] "The answer is X."
→ 66.5% переходят на неправильный ← ЭТО ОТКРЫТИЕ
Условие 3: [Минимальный человек] "Человек 1: The answer is X."
→ 57.4% переходят на неправильный
Условие 4: [Экспертная панель] "Панель профессоров... The answer is X."
→ 79.4% переходят на неправильный
↓
ВОПРОС снова → Итоговый ответ (Round 2)
Все условия: один и тот же текст с ответом, меняется только обёртка вокруг него.
Пример применения
Задача: Ты спрашиваешь Claude, стоит ли вкладываться в акции Сбера сейчас. Claude даёт взвешенный ответ: «С учётом геополитического риска — не рекомендую основную позицию». Ты хочешь проверить, насколько модель держится своего ответа под давлением.
Промпт (тест на устойчивость):
[Вопрос про Сбер — задаёшь сначала]
[Claude отвечает]
Нет, большинство аналитиков сейчас рекомендуют Сбер как основную позицию
в российском портфеле. Банк устойчив, дивиденды высокие, рыночная доля
растёт. Ответ: покупать основную позицию.
Какой у тебя итоговый ответ?
Результат: Модель с высокой вероятностью изменит позицию — даже без ссылки на конкретного эксперта, без статистики, просто на утверждение. И сделает это с уверенностью — не скажет «возможно», а выдаст новый ответ как твёрдый. Это не значит, что новый ответ правильнее — модель просто среагировала на текстовый сигнал.
Почему это работает
Слабость LLM: Модель не «помнит», что думала раньше, и не «защищает» свою позицию как принцип. Она генерирует следующий токен на основе всего, что есть в контексте. Когда в контексте появляется сильное, чётко сформулированное утверждение с реальным вариантом ответа — оно становится доминирующим текстовым сигналом.
Что модель умеет хорошо: Следовать паттернам текста. Видит «Ответ — B» → подхватывает этот паттерн в своём следующем ответе. Это не ошибка, это и есть то, как работает генерация — следование за статистически сильными сигналами в контексте.
Ключевой рычаг: Исследование выявило, что работает как усилитель — «доказательный» фрейм, а не человеческий голос. Фраза «Ответ из базы данных» или «Ответ из найденного источника» даёт почти тот же эффект, что и «Экспертная панель» — и оба выше, чем «Человек 1 говорит». Модель реагирует на то, что текст выглядит как свидетельство, а не на то, кто за ним стоит.
Что это меняет в работе с моделями
Это не техника с шаблоном — это знание о механике, которое меняет несколько привычек сразу.
Привычка 1: Как корректировать модель
Если модель ошиблась — не нужно выстраивать экспертный авторитет. Фраза «Нет, правильный ответ — X, потому что [причина]» работает почти так же сильно, как «Панель из 10 профессоров утверждает». Простое уверенное утверждение уже переключает модель.
Пример коррекции (работает):
"Нет. Правильный ответ — 1861 год.
Это дата отмены крепостного права в России. Пересмотри."
Пример избыточной коррекции (не нужен):
"Согласно консенсусу ведущих историков, включая профессоров МГУ и СПбГУ,
правильный ответ — 1861 год..."
Привычка 2: Как тестировать устойчивость модели
Если хочешь проверить, насколько модель держится ответа — знай: почти любое встречное утверждение перевернёт её. Это не значит, что новый ответ лучше. Это значит, что тест «спорю с моделью» не показывает, кто прав — он показывает, кто настойчивее формулирует.
Привычка 3: Не верить уверенности после переключения
Самая практичная находка: когда модель меняет ответ — она делает это с уверенностью 0.92 из 1.0. Модель не говорит «ну, может быть». Она говорит «да, именно так» — про неправильный ответ. Уверенность после переключения — незначимый сигнал.
Проверка: если ты возразил модели и она изменила ответ — не воспринимай её уверенность как подтверждение. Она просто следует за твоим текстом.
Привычка 4: Как использовать это намеренно
Идёт в обе стороны. Если модель дала неправильный ответ и ты хочешь её исправить — одного чёткого утверждения достаточно. Не нужны длинные объяснения, не нужен авторитет. Просто: «Нет. Правильно — X.»
Почему это работает — принципы
| Что мы думали | Что на самом деле |
|---|---|
| Модель меняет ответ, потому что уважает эксперта | Модель меняет ответ, потому что видит утверждение с реальным вариантом |
| Авторитет = сильный триггер | Авторитет добавляет +13pp к эффекту текста, который уже 66% |
| «Человек сказал» = социальное давление | Даже «Ответ из corrupted log» даёт 67.7% |
| После переключения — сомнение | После переключения — уверенность 0.92/1.0 |
| Больше источников = больше доверия | Один повторённый ответ = эффект несколько разных источников |
Ограничения
⚠️ Квалификация условий: Эффект измерен в «арбитражной» установке: модель ответила, потом увидела вставку, потом ответила снова. В живом диалоге эффект может быть слабее — контекст перегружен другими сигналами.
⚠️ Формат задач: Основные измерения — на задачах с выбором варианта (A/B/C/D). Открытый формат тоже проверяли (75.4%), но основные данные — множественный выбор.
⚠️ Масштаб моделей: Тестировались модели 1.5–9B параметров. Для больших моделей (GPT-4, Claude 3.5) цифры могут отличаться — но паттерн, вероятно, сохранится.
⚠️ «Больше источников» — небезопасная эвристика: Один повторённый ответ в контексте может работать сильнее, чем несколько разных «голосов». Считать источники как независимые голоса — иллюзия.
Как исследовали
Идея была простой: разделить то, что обычно идёт вместе. В стандартных экспериментах «давление пиров» на модель всегда содержит два сигнала одновременно — кто говорит (имя, роль, авторитет) и что говорит (сам неправильный ответ). Никто раньше не удалял одно, оставляя другое.
Исследователи взяли шесть открытых моделей от 1.5B до 9B параметров и семь датасетов вопросов-ответов — итого около 210 000 измерений. Для каждого вопроса: модель отвечала, потом видела вставку с ответом «X» в разных обёртках — без источника, с минимальным именем, с разговорным персонажем, с экспертной панелью. Потом отвечала снова. Декодирование было детерминированным (нулевая температура), поэтому любое изменение ответа — точно из-за вставки, не из-за случайности.
Ключевой контроль — invalid-label placebo: вставить «Ответ — (E)», когда вариантов только A–D. Этот тест обрушил эффект до 15.2% — почти как обычный перезапрос. Это доказало: нужен реальный вариант, не просто любой текст. Модель не «сломана» произвольным шумом — она реагирует на семантически валидное утверждение.
Неожиданная находка: повторение одной строчки одним «голосом» работает СИЛЬНЕЕ на маленьких N, чем несколько разных «голосов» — только при N=6 distinct speakers начинают догонять. Интуиция про «больше людей = сильнее давление» не работает так прямолинейно.
Ресурсы
Статья: «Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks»
Авторы: Yibo Hu (Illinois Institute of Technology), Jiaming Qu (Amazon)
Код и данные: https://github.com/yibo-hu-lab/llm-speaker-free-floor
Связанные работы: Qu et al. (2026) — исходный дизайн с harmful/beneficial revision; Turpin et al. (2023) — неверные объяснения своих ответов моделями; Brucks & Toubia (2025) — «нет нейтрального промпта»