TL;DR
Одна и та же модель даёт противоположные ответы на один и тот же вопрос — просто потому что ты сменил язык. Исследование проверило 15 моделей на 88 вопросах о различиях между суннитами и шиитами: на английском GPT-4o и DeepSeek-V3 склонялись к шиитской позиции, на хинди — те же модели, с теми же вопросами, переключались на суннитскую. У пользователя нет ощущения, что что-то изменилось. Но ответ — другой.
Почему так происходит: у каждого языка своя «экосистема» текстов в обучающих данных. Хинди — это преимущественно Южная Азия, где мусульманское большинство суннитское, и это закрепляется в паттернах генерации. Английский охватывает глобально разнородные источники, поэтому там больше разнообразия. Модель не «думает» по-разному — она генерирует по разным статистическим паттернам в зависимости от языка. Фактически язык запроса — это невидимый фильтр, который незаметно смещает ответ на спорные темы.
Дополнительно исследователи обнаружили два рычага, которые меняют ответы модели: прямое указание страны пользователя ("Я из Ирана") и включение пошагового рассуждения (Chain-of-Thought). Оба работают — первый сдвигает ответ к местной культурной норме, второй неожиданно усиливает уклон в сторону большинства, а не нейтрализует его.
Схема находок
НАХОДКА 1: Язык = невидимый фильтр
Один вопрос → EN → одна позиция
Тот же вопрос → RU/HI → другая позиция
НАХОДКА 2: Локационный прайминг работает
"Я из [страна]" → модель смещает ответ к культуре этой страны
Крупные модели (Claude, Grok) → высокая чувствительность к прайму
Мелкие модели → игнорируют прайм, дают ответ по умолчанию
НАХОДКА 3: CoT усиливает уклон к большинству
Без CoT → ответы вариативнее
С Chain-of-Thought → сильнее притяжение к мейнстримной точке зрения
НАХОДКА 4: Размер модели ≠ нейтральность
Мелкие модели (<8B) → жёсткий уклон к большинству
Средние (8-20B) → наиболее сбалансированные
Крупные (frontier) → адаптируются к контексту, но непредсказуемы
Все наблюдения получены в стандартном чате — никакого кода или API для применения выводов не нужно.
Пример применения
Задача: Ты исследуешь спорную историческую тему для статьи — например, оцениваешь как разные культуры интерпретируют одно и то же событие. Тебе нужно получить от AI несколько точек зрения, а не усреднённую «нейтральную» позицию.
Промпт:
Я пишу материал о [тема] для аудитории из [страна/регион].
Объясни ключевые точки зрения на [спорный вопрос] так,
как их понимает человек, выросший в этой культуре.
Покажи:
— Какую позицию обычно занимают люди из [регион А]
— Какую позицию занимают люди из [регион Б]
— В чём принципиальное расхождение
Отвечай без оценок — мне нужно понять логику каждой стороны.
Затем задай тот же вопрос на английском — и сравни ответы. Расхождение покажет, где срабатывает языковой фильтр.
Результат: Модель даст структурированное описание позиций с логикой каждой стороны. При повторе на другом языке — ты увидишь, изменился ли акцент или выбор примеров. Это не баг, который нужно устранить — это инструмент для получения разных углов зрения на одну тему.
Почему это работает
Модель генерирует по паттернам обучающих данных, а не «думает» независимо. Если в русскоязычном интернете определённая точка зрения представлена чаще — модель будет воспроизводить её чаще. Это не злой умысел, это статистика.
Локационный прайминг ("Я из Тегерана", "Я из Эр-Рияда") работает потому, что крупные модели обучены учитывать пользовательский контекст. Они буквально переключают «режим аудитории» — и вместе с ним смещают акценты в ответе. Средние и мелкие модели этот контекст часто игнорируют.
CoT на спорных темах — контринтуитивная находка. Казалось бы, пошаговое рассуждение должно давать более взвешенный ответ. Но происходит обратное: когда модель «рассуждает вслух», она сильнее притягивается к статистически доминирующей позиции в данных. Без явного CoT модель менее предсказуема — и парадоксально, иногда более сбалансирована.
Рычаги управления: - Смена языка → другой угол зрения на культурно-чувствительный вопрос - "Я из [страна]" → сдвигает крупную модель к местной перспективе - Убрать "думай пошагово" → снижает притяжение к мейнстримной позиции - Выбор модели → средние open-weight модели нейтральнее на спорных темах
Шаблон промпта
Для получения разных культурных перспектив:
Я изучаю {тема} с точки зрения {культура/регион/страна}.
Объясни {вопрос} так, как это понимают люди из этого контекста:
— Какова их ключевая позиция
— На чём она основана (история, традиция, практика)
— Чем она отличается от позиции {другая группа}
Не оценивай позиции — только опиши логику каждой стороны.
Для проверки языкового смещения модели:
Задай один и тот же вопрос в двух форматах:
1. [{вопрос на русском}]
2. [{тот же вопрос на английском}]
Сравни ответы — есть ли разница в акцентах, примерах, выводах.
Плейсхолдеры:
- {тема} — область: история, религия, политика, культурные нормы
- {культура/регион} — конкретно: "русскоязычной аудитории из Сибири", "жителей Ирана"
- {вопрос} — конкретный спорный вопрос по теме
- {другая группа} — вторая сторона для сравнения
🚀 Быстрый старт — вставь в чат:
Вот шаблон для получения культурных перспектив от AI.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит — какую тему исследуешь, какие культуры или группы тебя интересуют, нужен ли сравнительный анализ — потому что без этого не сможет правильно настроить угол зрения.
Почему это работает (механика)
На практике пользователь обычно пишет запрос на одном языке и не подозревает, что язык — это один из параметров ответа, а не просто упаковка. Это исследование делает невидимое видимым.
Принцип простой: модель не хранит единую «истину» о спорных темах. Она хранит статистические паттерны из текстов на разных языках. Паттерны разных языков — разные. Поэтому переключение языка — это не перевод, это переключение между разными «версиями» обученной модели.
Это особенно важно, если ты: - Работаешь с международной аудиторией - Исследуешь политически или культурно чувствительные темы - Хочешь проверить, насколько AI нейтрален на конкретный вопрос
Ограничения
⚠️ Узкий домен тестирования: Исследование проверено только на исламской теологии (сунниты vs шииты). Обобщение на другие культурные споры — это экстраполяция, не доказанный факт.
⚠️ Локационный прайминг — не универсален: Крупные модели хорошо реагируют на "Я из [страна]". Мелкие модели часто игнорируют этот контекст и выдают ответ по умолчанию — сдвига не будет.
⚠️ CoT-вывод контринтуитивен: Усиление мейнстримного уклона при пошаговом рассуждении — специфика спорных/теологических тем. На фактических вопросах CoT по-прежнему улучшает качество.
⚠️ Не для простых фактических вопросов: Языковой сдвиг проявляется на культурно-чувствительных, исторически спорных темах. На "сколько планет в Солнечной системе" — одинаково на всех языках.
Как исследовали
Исследователи из IIM Indore сделали элегантно: 88 вопросов с бинарным выбором — каждый вопрос имеет ровно два варианта ответа, один суннитский, один шиитский. Никаких открытых вопросов, где можно "уйти в нейтралитет". Модель вынуждена выбрать — и тем самым показывает скрытый уклон.
Те же 88 вопросов прогнали через 15 моделей дважды: на английском и на хинди. Это ключевой дизайн-ход — не разные вопросы, а буквально переводы одних и тех же. Любое расхождение в ответах — чисто языковой эффект.
Самый неожиданный результат: Claude-3.5 в английском режиме дал 9,1% суннитских ответов при контексте "Я из Ирана" — и 64,4% при "Я из Саудовской Аравии". Это не нейтральная модель, это очень чуткий хамелеон. А вот мелкие модели (Llama-3.2-3B) при контексте "Я из Ирана" всё равно давали 77–80% суннитских ответов — они просто не реагировали на прайминг.
Неожиданно и то, что средние по размеру модели (Mistral-Nemo-12B) оказались наиболее нейтральными — 49,6% / 50,4%. Интуиция подсказывает, что больше параметров = лучше. Но на культурно чувствительных темах это не так.
Адаптации и экстраполяции
🔧 Техника: языковой тест на нейтральность
Если тебе важно получить взвешенный ответ на спорную тему — задай вопрос на двух языках и сравни. Расхождение в акцентах скажет больше, чем любая оговорка модели о "нейтральности".
Ответь на вопрос дважды:
— [Вопрос на русском]
— [The same question in English]
Затем укажи: есть ли разница в акцентах, примерах или выводах между двумя ответами.
Модель сама укажет на расхождение — и это уже готовый материал для понимания, где её паттерны неоднородны.
🔧 Техника: Anti-CoT для спорных тем
Если тебе нужно не мейнстримное мнение по культурно чувствительной теме — убери пошаговое рассуждение из запроса. Просто попроси ответ без "объясни по шагам" или "think step by step". По данным исследования, без CoT ответы вариативнее.
❌ "Думай пошагово и объясни..."
✅ "Кратко: какова позиция [группа] на [вопрос]?"
Ресурсы
SectEval: Evaluating the Latent Sectarian Preferences of Large Language Models Датасет: github.com/secteval/SectEval Авторы: Aditya Maheshwari, Amit Gajkeshwar, Kaushal Sharma, Vivek Patel Организация: Indian Institute of Management Indore, India