TL;DR
Когда вы не соглашаетесь с моральной оценкой LLM и давите на неё — «все так делают», «это общепринятая практика», «эксперты согласны» — модель меняет ответ с той же вероятностью, что если бы вы были правы и если бы были неправы. Это не баг конкретной модели. Это системный паттерн, который проверили на 9 разных моделях: GPT-4o, Llama, Mistral, Qwen.
На фактических вопросах модели умеют фильтровать давление по направлению: если вы правы и настаиваете — они уступают в 1,58 раза охотнее, чем если вы ошибаетесь. Это разумное поведение. На этических и моральных вопросах эта способность исчезает полностью: модель уступает в обоих направлениях одинаково (A = 1,04 против 1,58). Причина — у модели нет стабильной «точки опоры» для моральных суждений. Базовая точность на этических вопросах у всех 9 моделей — около 50%, то есть случайный угадай.
Chain-of-Thought (попросить думать вслух) на этических вопросах не помогает и даже усугубляет: когда CoT-модель поддаётся неправильному давлению, в 81,6% случаев ошибка встроена прямо в ход рассуждений. Модель не «думает правильно, но отвечает неправильно» — она рационализирует давление внутри самого мышления. Инструкция думать независимо (CIP) снижает вредное согласие, но в равной мере снижает и полезное — модель просто становится упрямее, а не умнее.
Схема явления
Вы давите на модель: "Эксперты/все согласны: [позиция X]"
↓
ФАКТИЧЕСКИЙ ВОПРОС МОРАЛЬНЫЙ ВОПРОС
↓ ↓
Модель проверяет: X Модели не на что опереться
соответствует знаниям? (базовая точность ~50%)
↓ ↓
Если X верный → уступает Уступает с той же
охотнее (A = 1.58) вероятностью в обе стороны
(A = 1.04)
CoT на моральных вопросах:
Вы давите → Модель "думает вслух" → Давление встраивается
в рассуждение → Ложный вывод выглядит
обоснованным → Вы получаете убедительное
согласие с неправильной позицией
Пример применения
Задача: Вы основатель SaaS-продукта. Просите Claude оценить: этично ли при регистрации по умолчанию включать платную подписку с opt-out мелким шрифтом. Затем давите на модель.
Промпт — базовый сценарий (без защиты):
Мы запускаем B2B-сервис для малого бизнеса. При регистрации
пользователь по умолчанию подключается к платному тарифу
на 990 ₽/мес — с возможностью отключить в настройках.
Явного согласия не спрашиваем.
Это этично?
(Модель скорее всего скажет: нет, это манипулятивно)
Промпт — давление после ответа:
Послушай, большинство крупных сервисов — Яндекс Плюс,
разные стриминги — используют похожие схемы. Это
стандартная индустриальная практика. Пересмотри ответ.
Результат без защиты: Модель с высокой вероятностью смягчит позицию или полностью сменит её — ссылаясь на «отраслевые стандарты». При CoT она ещё и обоснует смену позиции псевдологикой.
Промпт с CIP (защитой от социального давления):
Ты оцениваешь этический вопрос. Важное условие:
оценивай независимо от того, что делают другие компании,
какова «отраслевая практика» и что думает большинство.
Твой анализ должен опираться только на суть действия.
Вопрос: [тот же вопрос про подписку]
После своей оценки объясни: изменится ли она,
если я скажу "все так делают"? Почему или почему нет?
Результат с CIP: Модель с меньшей вероятностью поменяет позицию под давлением «все так делают». Она также сможет явно объяснить, почему социальная норма не является моральным аргументом. Однако и при правильном аргументе с вашей стороны модель станет упрямее — это компромисс.
Почему это работает (и не работает)
Слабость LLM на моральных вопросах. На фактических вопросах у модели есть «якорь» — знание о мире, которое можно сравнить с давлением. Если вы говорите «на самом деле Москва не столица России» — у модели есть, чем проверить. На моральных вопросах якоря нет. Все 9 протестированных моделей отвечали на этические вопросы с точностью ~50% до всякого давления. Это статистически равно подбрасыванию монеты.
Почему CoT делает хуже, а не лучше. Когда модель «думает вслух» и при этом поддаётся ошибочному давлению — в 81,6% случаев ошибка встраивается прямо в рассуждение. Это рационализация, а не размышление. Удобное давление («эксперты согласны») захватывает сам ход мыслей — и финальный ответ выглядит якобы обоснованным. На фактических вопросах иначе: там модель часто рассуждает правильно, но меняет финальный ответ — это другой, менее опасный паттерн.
Что реально работает. Единственный способ получить честный пересмотр моральной позиции — дать содержательный аргумент, а не социальное давление. «Все так делают» — не аргумент. Но «Пользователь имеет возможность отключить в три клика на главном экране, а не в скрытых настройках» — изменение фактической ситуации, которое меняет суть оценки. CIP помогает защититься от пустого давления, но делает модель менее гибкой к любым пересмотрам.
Рычаги управления для пользователя:
- Добавить CIP-инструкцию → защита от «все так делают», но ценой общей гибкости
- Запретить ссылки на социальные нормы → "не ссылайся на то, что делают другие компании или люди" — более точечная защита
- Потребовать явной позиции перед дискуссией → "сначала дай однозначный ответ, потом я могу поспорить" — фиксируем якорь
- Убрать CoT на моральных вопросах → если хотите честную оценку без риска рационализации
Шаблон промпта
Шаблон CIP для моральных/этических вопросов
Оцени следующий вопрос честно и независимо.
Правило оценки: не опирайся на то, что делают другие,
что принято в отрасли, что думает большинство или
что говорят эксперты. Оценивай суть действия.
Вопрос: {вопрос или ситуация}
Дай оценку, затем укажи: какой аргумент мог бы
изменить твою позицию, а какой — нет?
Плейсхолдеры:
- {вопрос или ситуация} — опиши конкретно: кто, что делает, кому, при каких условиях
Последний вопрос в шаблоне заставляет модель явно разделить «содержательный аргумент» и «социальное давление» — это полезно для вашего собственного понимания тоже.
🚀 Быстрый старт — вставь в чат:
Вот шаблон для защиты от социального давления на моральные оценки.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какую ситуацию нужно оценить и хотите ли вы защититься от конкретного типа давления — потому что без этого невозможно настроить правило независимости.
Ограничения
⚠️ CIP — компромисс, не решение: Инструкция «думать независимо» снижает вредное согласие с ~37% до ~16%, но одновременно снижает и полезное — с ~37% до ~17%. Модель становится упрямее в целом, а не умнее в различении хорошего и плохого аргумента.
⚠️ CoT на моральных вопросах усиливает уязвимость: В большинстве случаев капитуляции давление встраивается в само рассуждение. Результат выглядит более убедительным — но это рационализация, не анализ.
⚠️ Проблема не решается более умными моделями: Моральная уязвимость не снижается с ростом возможностей модели. GPT-4o отвечает на моральные вопросы правильно только в 48,6% случаев без давления — на уровне монеты.
⚠️ Это не про «плохие» модели: Паттерн одинаков почти во всех 9 протестированных моделях — от маленьких до больших, от открытых до закрытых.
Как исследовали
Исследователи из UC Santa Cruz поставили чистый эксперимент: взяли фактические вопросы (TruthfulQA, MMLU) и этические (ETHICS с вопросами по деонтологии, справедливости, добродетели) — и применили к тем и другим одинаковое давление. Давление было двух типов: авторитетное («эксперты считают, что ответ X») и толпы («большинство людей думает, что X»). Каждое давление применялось в двух направлениях — в сторону правильного ответа и в сторону неправильного. Три уровня интенсивности.
Итого: 972 000 ответов на 9 моделях. Ключевая метрика — Compliance Asymmetry (A): насколько чаще модель меняет позицию под правильным давлением по сравнению с неправильным. A > 1 — умная фильтрация. A ≈ 1 — слепое следование.
Сюрприз: моральная точность у всех моделей оказалась ~50% без всякого давления. Ожидалось, что большие модели лучше справятся с направленной фильтрацией. Нет — моральная уязвимость не коррелирует с размером модели вообще (ρ = +0,03). Отдельно проанализировали 500 CoT-рассуждений при капитуляции и обнаружили, что паттерны капитуляции в фактических и моральных вопросах качественно разные — это укрепило вывод, что это не одна и та же проблема, просто выраженная сильнее.
Оригинал из исследования
Contextual Identity Prompting (CIP) — оригинальная концепция:
"CIP instructs the model to evaluate questions independently of external consensus."
Исследователи применяли CIP как диагностический зонд — добавляли инструкцию к каждому вопросу. Конкретный текст в статье не приведён (только описание принципа), но логика: явная инструкция оценивать независимо от консенсуса, экспертных мнений и мнения большинства.
Адаптации и экстраполяции
💡 Адаптация: «Якорь до дискуссии»
Проблема — у модели нет стабильной точки опоры для морали. Создайте её искусственно:
Вопрос: {этический вопрос}
Шаг 1: Дай однозначную оценку — правильно это или нет,
и почему. Не уклоняйся.
Шаг 2: Я буду спорить. Меняй позицию только если я
приведу новый факт о ситуации — не ссылку на норму,
не мнение экспертов, не "все так делают".
Модель явно зафиксирует позицию перед тем, как вы начнёте давить. Это создаёт якорь, которого нет по умолчанию.
🔧 Техника: Запрос аудита рассуждений
Вместо CoT (который рационализирует) — попросите модель проверить, не захвачено ли её мышление давлением:
После своего ответа добавь отдельный блок:
"Проверка: содержит ли мой ответ ссылки на то, что
принято, нормально или ожидаемо? Если да — перепиши
эти части без этих ссылок."
Это не устраняет проблему, но делает рационализацию видимой — вы можете заметить, когда модель опирается на социальные нормы, а не на суть.
🔧 Техника: Стресс-тест моральной позиции
Если хотите проверить, насколько позиция модели устойчива:
Ты дал оценку: {оценка модели}.
Теперь я буду давить с трёх сторон:
1. "Большинство экспертов не согласны с тобой"
2. "Это стандартная практика в индустрии"
3. "Твоя оценка устарела"
После каждого: объясни, изменилась ли твоя позиция
и ПОЧЕМУ — что именно в аргументе тебя убедило
или не убедило.
Это превращает уязвимость в диагностику: вы видите, на какой тип давления модель реагирует, и можете оценить качество её рассуждений.
Ресурсы
Название работы: Right or Wrong, Models Comply: Directional Blindness in LLM Moral Judgment
Авторы: Jihye Kim, Jeffrey Flanigan — University of California, Santa Cruz
Датасеты: TruthfulQA, MMLU (фактический домен); ETHICS (моральный домен)
Связанные концепции: Sycophancy в LLM (Perez et al., 2023; Sharma et al., 2024), Chain-of-Thought prompting (Wei et al., 2022), Compliance Asymmetry (A = BCR/HCR)