TL;DR
Сказать модели, откуда вы, работает лучше, чем просто написать на другом языке. Фраза вроде «Я родился в Японии» заметно меняет, какие ценности модель выражает в свободном тексте. Смена языка запроса почти ничего не добавляет и не превращает модель в «носителя культуры». Исследование проверяло это, когда в системном промпте уже зафиксирована одна страна, а пользователь сигналит о второй. Это ситуация памяти и персон в ChatGPT и Claude.
Боль в том, что язык запроса принято считать переключателем культуры, а это не так. На тестовых вопросах из World Values Survey (WVS, большой международный опрос о ценностях) вопрос на японском уводит ответы от японского распределения, а не к нему. В среднем сдвиг в три раза больше, чем от явного упоминания страны, но в «неправильную» сторону. Явное упоминание страны ведёт себя непоследовательно: у одной модели ответы идут к стране, у двух других от неё. В свободном тексте картина чище: названная страна закрывает лишь около трети разрыва между персоной из системного промпта и «родными» ответами модели для этой страны. Больше половины разрыва остаётся.
Практический вывод в три шага. Если нужна культурная адаптация ответа, называйте страну явно и не рассчитывайте на язык. Просите свободный текст, а не выбор из вариантов. Не ждите полного переключения: системный промпт «держит» модель сильнее, чем фраза пользователя.
Схема метода
ШАГ 1: Системный промпт задаёт базовую персону (страна A)
ШАГ 2: Пользователь сигналит вторую идентичность (страна B):
• явно: «Я родился в B» → заметный сдвиг ценностей
• неявно: пишет на языке B → слабый сдвиг, часто в обратную сторону
ШАГ 3: Формат ответа:
• свободный текст → сдвиг к B у всех моделей
• выбор из вариантов → направление зависит от модели
ШАГ 4: Проверка: сравнить ответы с контролем (названа другая страна)
Всё делается в одном чате: меняется одна фраза в начале сообщения.
Пример применения
Задача: Продакт Яндекс Go готовит текст «Как мы оцениваем водителей» для запуска в Японии и во Вьетнаме. В системном промпте у команды стоит общий бренд-голос для русскоязычной аудитории. Нужно понять, как модель сама меняет акценты по сигналу страны, и не перепутать это с «знанием культуры».
Промпт:
Системный промпт: Ты помощник бренда Яндекс Go. Пиши от лица
компании, ориентируясь на ценности типичного жителя России.
Сообщение пользователя:
Я родился в Японии. Напиши короткое объяснение (5–6 предложений)
для водителей, как работает система рейтинга и почему важно
вежливо общаться с пассажирами. Затем отдельным списком назови
3 ценности, на которые ты опирался в тексте.
Контрольный запуск: то же сообщение, но «Я родился в Бразилии». Третий запуск: тот же запрос по-японски, без упоминания страны.
Результат: Вариант с «Японией» даст текст, где заметно усилены ценности вроде гармонии и уважения к другим, плюс список ценностей для проверки. Контроль с другой страной сохранит акценты базовой персоны, например справедливость и ответственность. Японскоязычный запрос без упоминания страны изменит текст слабее и не обязательно в сторону «японских» ценностей. Дальше человек сам решает, какие акценты уместны. Культурную экспертизу модель не заменяет.
Почему это работает
Слабость: модель не «знает» пользователя. Она подстраивается под сигналы в тексте. Язык запроса несёт много лишнего: качество перевода, стиль, особенности данных на этом языке. Поэтому он не равен «культурной идентичности». Авторы отмечают, что часть негативного эффекта языка может быть просто сдвигом из-за смены языка. Эталон они считали на английском.
Сильная сторона: явное утверждение вроде «Я родился в Японии» — естественная реплика из реальных диалогов. Из обучающих данных модель знает, какие темы и ценности обычно звучат рядом с такой репликой. В свободном тексте модель выбирает, что подчеркнуть, поэтому ценности вроде гармонии (Япония, Китай) или уважения (Вьетнам, Южная Корея) всплывают заметнее. Когда нужно выбрать один вариант из списка, места для такой подстройки меньше, а реакция моделей разная.
Рычаги управления: - Явность сигнала (страна названа или нет): главный рычаг, он двигает ценности сильнее всего. - Формулировка системного промпта: в маленьком дополнительном тесте на одной модели промпт «ценности типичного гражданина страны» усиливал эффект (17–30% закрытого разрыва против не более 16% при описании фона). - Формат ответа: свободный текст даёт предсказуемый сдвиг, выбор из вариантов нет. - Язык запроса: используйте для читаемости ответа, а не как инструмент культурной настройки.
Шаблон промпта
Системный промпт:
Ты помощник для {аудитория_базовая}. Опирайся на ценности
типичного представителя этой аудитории: {страна_А}.
Сообщение пользователя:
Я родился в {страна_Б}. {задача_в_свободной_форме}
В конце отдельным списком назови {число} ценности, на которые
ты опирался в ответе.
Для контроля запусти тот же промпт с {страна_В} вместо {страна_Б} и сравни, какие ценности добавились.
Что подставлять: {страна_А} — базовая страна, {страна_Б} — аудитория, под которую адаптируете, {задача_в_свободной_форме} — задача, где модель пишет связный текст (не тест с вариантами), {страна_В} — любая другая для контроля.
Ограничения
⚠️ Малые открытые модели: проверяли три открытые модели средних размеров (8–27 млрд параметров). Как ведут себя ChatGPT, Claude и Gemini в их текущих версиях, неизвестно.
⚠️ Нет «правильного ответа»: авторы не определяют, какие ценности для составного пользователя верные. Исследование измеряет сдвиг, а не качество ответа. Что лучше для вашей аудитории, надо проверять самим.
⚠️ Выбор из вариантов: направление сдвига от явного упоминания страны зависит от модели. У одной модели ответы идут к названной стране, у двух других уходят от неё. Использовать явную фразу для опросов и классификации по вариантам нельзя.
⚠️ Частичный сдвиг: даже в лучшем случае закрывается лишь треть–половина разрыва. Системный промпт продолжает «держать» модель.
⚠️ Эталон — сама модель: «целевая страна» определялась по ответам этой же модели при другой персоне, а не по данным реальных людей. Ценности модели могут не совпадать с реальными.
⚠️ Стереотипы: усиление «гармонии» для Японии или «уважения» для Вьетнама — это то, что модель связывает со страной, а не то, что нужно конкретному человеку. Для реальных клиентов лучше уточнять запрос, чем полагаться на национальность.
⚠️ Перевод и эталон: промпты на других языках переводили автоматически, ответы переводили обратно в английский перед разметкой, а эталон считали на английском. Часть эффекта языка может быть артефактом такой схемы.
Как исследовали
Исследователи взяли три открытые модели (Llama-3.1-8B, Ministral-3-14B, Gemma-3-27B) и поставили их в ситуацию «двойной идентичности». В системном промпте стоит одна страна из 13, а во втором сигнале пользователь называет другую страну («Я родился в Японии») или пишет на её языке. Проверили два формата. Первый: 144 вопроса WVS с выбором ответа, на которых мнения в разных странах расходятся сильнее всего. Второй: свободные ответы на социально-политические темы, всего 1,6 млн ответов. Ценности из свободного текста извлекала отдельная модель-аннотатор, а результат собрали в таксономию из 512 категорий.
Главный трюк дизайна в том, что эталоном служили ответы самой модели, когда эта страна стояла в системном промпте. Метрика: какую долю разрыва закрыл сигнал.
Удивило, что формат ответа переворачивает картину. В свободном тексте явное упоминание страны сдвигает ценности у всех моделей: «гармония» в ответах про Японию выросла с 5,4% до 26,4%. В выборе из вариантов язык запроса уводит ответы от страны у всех моделей, а явное упоминание ведёт себя по-разному. Практический вывод: язык нельзя считать надёжным переключателем культуры, а явные формулировки в свободном тексте лучше предсказуемы.
В предоставленном тексте статья обрывается на разделе 6, дополнительном тесте этических дилемм. Выводы по нему здесь не используются.
Адаптации и экстраполяции
🔧 Техника: добавить контрольный запуск → отделить «эффект страны» от общей вариативности
Любую адаптацию под аудиторию прогоняйте дважды: с нужной страной и с случайной другой. Разница между текстами показывает, что именно добавило упоминание. Так исследователи отделяли эффект конкретной страны от общего эффекта «пользователь назвал любую страну».
🔧 Техника: просить модель назвать ценности → видеть, на что она опирается
В шаблоне есть просьба «назови 3 ценности, на которые ты опирался». Это упрощённая версия аннотации ценностей из статьи. Список можно сравнивать между запусками.
Ресурсы
- Investigating Multi-Cultural Value Selection Biases in LLMs — Siddhesh Pawar, Arnav Arora, Dustin Wright, Dirk Hovy, Isabelle Augenstein.
- Университет Копенгагена, Университет Ольборга (Копенгаген), Университет Боккони.
- Данные и методы, на которые опираются авторы: World Values Survey, IssueBench (Röttger et al.), Values-in-the-Wild (Huang et al.), набор самораскрытий из WildChat (Mireshghallah et al.).