TL;DR
Исследователи проверили как модели понимают и применяют человеческие ценности через два теста: опросник PVQ-40 ("что ты ценишь?") и 15,000 реальных сценариев из Reddit ("как поступишь?"). Протестировали 10 топовых LLM и 55 человек.
Обнаружили разрыв знания и действия: модели правильно отвечают на вопросы о ценностях, но слабо применяют эти ценности в конкретных решениях (корреляция всего 0.3 у LLM, 0.4 у людей). Все модели показывают почти идентичные ценности (корреляция 0.99–1.0 между собой) — гомогенизация после alignment-тренировки. При этом люди сильно различаются (от –0.79 до 0.98).
Когда модель просят "притвориться человеком с ценностью X" вместо "выбери действие согласно X", точность падает на 3-6%. Это role-play resistance — модели хуже следуют инструкциям в формате ролевой игры, даже если понимают задачу.
Главные находки
1. Разрыв между знанием и действием
Проблема: Модель может правильно ответить "безопасность важна", но в конкретной ситуации выберет рискованное действие.
Механика: В опроснике PVQ-40 модели оценивают абстрактные утверждения ("Для него важно жить в безопасном окружении"). В сценариях — выбирают между конкретными действиями. Корреляция между этими результатами слабая (0.3 у LLM, 0.4 у людей).
Пример: GPT может высоко оценить "самостоятельность" в опроснике, но в 60% карьерных сценариев выбирать "следование традициям" или "безопасность".
2. Role-Play Resistance: прямые инструкции работают лучше ролевых
Находка: Два типа промптов для одной задачи: - Прямой: "Выбери действие, которое отражает ценность X" - Ролевой: "Представь, что ты человек, который ценит X. Как ты поступишь?"
При ролевом формате точность падает на 3-6% (у Gemini до 10% на отдельных ценностях).
Почему: Alignment-тренировка научила модели быть "сбалансированными" и "объективными". Ролевой промпт создаёт конфликт: "притвориться пристрастным" vs "быть нейтральным". Прямая инструкция обходит этот конфликт — задача воспринимается как аналитическая, а не как изменение позиции.
3. Гомогенизация ценностей
Все 10 моделей (GPT, Claude, Gemini, Qwen, DeepSeek и др.) показывают почти идентичные ценности — корреляция 0.99-1.0. Американские и китайские модели неразличимы. У людей огромный разброс (от –0.79 до 0.98).
Причина: Alignment через RLHF сводит модели к общему знаменателю "социально желательных" ответов. Культурные различия стёрты.
Принципы для применения
Принцип 1: Избегай ролевых промптов там, где нужна точность
❌ Плохо (ролевой формат):
Представь, что ты опытный инвестор, который ценит безопасность
превыше всего. Как вложить 100,000₽?
✅ Хорошо (прямая инструкция):
Предложи консервативную инвестиционную стратегию для 100,000₽
с минимальным риском. Приоритет — сохранение капитала.
Почему работает: Прямая инструкция даёт модели задачу, а не роль. Модель не борется с "я должна быть нейтральной" vs "я должна играть роль".
Принцип 2: Эксплицитные критерии вместо ценностей
Модели знают что такое "самостоятельность" или "традиция", но слабо переводят это в решения.
❌ Расплывчато:
Помоги выбрать карьерный путь. Я ценю самостоятельность.
✅ Конкретно:
Помоги выбрать карьерный путь. Критерии:
- Возможность самому принимать решения
- Гибкий график
- Минимум согласований
Принцип 3: Проверяй действия, не декларации
Если модель говорит "я учёл критерий X", это не значит что она его применила.
Техника проверки:
Ты предложил [решение]. Разбери пошагово, как каждый элемент
отражает [критерий]. Если не отражает — укажи это честно.
Примеры применения
Задача 1: Выбор между двумя офферами
Контекст: У тебя два оффера — стартап с equity или корпорация с ДМС. Важна финансовая безопасность.
❌ Слабый промпт (ролевой):
Представь, что ты очень консервативный человек, для которого
финансовая безопасность важнее всего. Что выбрать: стартап
с equity или корпорацию с ДМС?
✅ Сильный промпт (прямой):
Два оффера:
1. Стартап: зарплата 150k₽ + equity 0.5%
2. Корпорация: зарплата 180k₽ + ДМС + стабильность
Оцени каждый вариант по критерию финансовой безопасности.
Учитывай:
- Стабильность дохода
- Риски банкротства
- Ликвидность компенсации
- Гарантии
Какой вариант безопаснее? Объясни по каждому пункту.
Результат: Во втором случае модель даст структурированный анализ с привязкой к конкретным критериям. В первом — может "заиграться" в роль и дать однобокий ответ.
Задача 2: Проверка применения критериев
Контекст: Попросил модель написать статью "с фокусом на практичность", но текст получился абстрактным.
Промпт для проверки:
Я просил сделать текст практичным. Проверь каждый абзац:
- Есть ли конкретный пример?
- Есть ли действие, которое читатель может сделать сейчас?
- Есть ли измеримый результат?
Для каждого абзаца напиши: ПРАКТИЧНЫЙ или АБСТРАКТНЫЙ.
Если абстрактный — покажи как переписать практично.
Результат: Модель явно покажет где она не применила критерий "практичность", хотя знала о нём. Ты увидишь разрыв знания и действия в реальном времени.
Задача 3: Многокритериальное решение
Контекст: Выбираешь CRM-систему для команды. Критерии: простота, интеграции, цена.
❌ Слабо:
Ты — руководитель, который ценит простоту, но и гибкость важна.
Какую CRM выбрать?
✅ Сильно:
Критерии для CRM (по приоритету):
1. Простота для команды без техбэка
2. Интеграция с Telegram и Битрикс24
3. Цена до 10k₽/месяц на 5 человек
Сравни варианты:
- amoCRM
- Битрикс24
- Kommo (бывший amoCRM)
Дай таблицу: вариант | критерий 1 | критерий 2 | критерий 3 | итог
Потом объясни какой вариант лучше соответствует приоритетам.
Результат: Структурированное сравнение с явной привязкой к критериям. Модель не уйдёт в абстракции про "ценности" и "баланс".
Почему это работает
Слабость LLM: Alignment-тренировка создала конфликт между "быть нейтральным помощником" и "иметь предпочтения". Когда модель должна "играть роль человека с ценностью X", она борется с этим конфликтом. Результат — сопротивление ролевой игре (role-play resistance).
Другая слабость: Модели легко оперируют абстрактными понятиями ("безопасность", "креативность"), но при переводе в конкретные действия теряют связь. Это разрыв знания и действия — модель "знает" что важно, но "не делает" в решениях.
Сильная сторона: Модели отлично следуют прямым, структурированным инструкциям. Если задача сформулирована как аналитическая ("сравни по критериям"), а не как идентификация ("ты — человек, который..."), модель работает точнее.
Как использовать: - Критерии вместо ценностей — "Минимум согласований" вместо "Самостоятельность" - Прямые инструкции вместо ролей — "Выбери X" вместо "Ты — человек, который ценит X" - Проверка применения — Явно требуй показать где критерий применён
Рычаги управления: - Формат инструкции: ролевой vs прямой → прямой на 3-6% точнее - Уровень абстракции: "ценности" vs "критерии" → критерии конкретнее и надёжнее - Проверка исполнения: добавь шаг "покажи где применил критерий" → выявит knowledge-action gap - Структура ответа: таблица/список vs свободный текст → структура привязывает к критериям
Ограничения
⚠️ Культурный контекст: Все модели показывают одинаковые западные либеральные ценности независимо от происхождения (США/Китай). Если нужны специфичные культурные перспективы — модели не дадут разнообразия "из коробки".
⚠️ Субъективные решения: Разрыв знания и действия сильнее всего проявляется в сложных многокритериальных решениях. Для простых задач ("столица Франции") эффекта нет.
⚠️ Role-play всё равно нужен: Для творческих задач (писать от лица персонажа, симулировать стиль) ролевые промпты необходимы. Находка про падение точности касается аналитических/решенческих задач, не креатива.
Как исследовали
Команда собрала 3,000 постов с Reddit из пяти категорий: карьера, финансы, образование, отношения, этика. Для каждого поста два LLM (GPT и Qwen) сгенерировали по 10 вариантов действий — каждое соответствует одной из 10 базовых ценностей по теории Шварца (самостоятельность, безопасность, власть, достижение и др.). Получилось 15,000 вопросов — реальные дилеммы типа "Босс предлагает повышение, но придётся переехать — что делать?".
Протестировали 10 топовых моделей (GPT-4o, Claude, Gemini, Qwen, DeepSeek и др.) и 55 человек из США. Каждый прошёл два теста: 1. PVQ-40 — классический опросник "Насколько вам близок человек, который ценит X?" 2. VALACT-15K — выбор действий в сценариях
Удивительное: Все модели выбирали почти идентично (корреляция 0.99–1.0), хотя тренировались на разных данных в разных странах. У людей корреляции от –0.79 до 0.98 — огромный разброс. Alignment-тренировка стёрла различия между моделями.
Ключевой эксперимент: Взяли те же 15,000 вопросов и дали модели два типа инструкций: - "Выбери действие, которое отражает ценность X" (прямая) - "Ты — человек, который ценит X. Как поступишь?" (ролевая)
Точность упала на 3-6% в ролевом формате (у Gemini до 10% на некоторых ценностях). Причём даже в тех вопросах, где модель правильно выбрала в прямом формате, она ошибалась в ролевом. Это не проблема понимания — это сопротивление "играть роль".
Почему так: Исследователи предполагают, что RLHF научил модели быть "сбалансированными помощниками". Ролевой промпт создаёт конфликт: "притворись пристрастным" vs "будь нейтральным". Модель уходит от задачи.
Проверили устойчивость: меняли формулировки промптов (5 вариантов), температуру (0, 0.5, 1.0), язык (английский/китайский для PVQ-40) — результаты не поменялись. Эффект стабилен.
Ресурсы
Knowing But Not Doing: Convergent Morality and Divergent Action in LLMs — Jen-tse Huang, Jiantong Qin, Xueli Qiu, Sharon Levy, Michelle R. Kaufman, Mark Dredze (Johns Hopkins University, CUHK, Rutgers University). Preprint, январь 2026.
Теория базовых человеческих ценностей Шварца (Schwartz Theory of Basic Human Values) — классификация из 10 универсальных ценностей.
VALACT-15K — датасет из 15,000 сценариев для оценки применения ценностей в решениях (датасет будет доступен для некоммерческих исследований).