TL;DR
Это исследование показывает, как проверить перевод на языках с обязательной вежливостью (бенгальский, корейский, японский, а по аналогии казахский и узбекский). Берут одну и ту же фразу и меняют в ней одно слово: профессию или местоимение «он/она». Потом смотрят, не поменялась ли форма: вежливая («Вы», «изволит приехать») или обычная («ты», «приедет»). Каждую фразу отправляют отдельным запросом, без общего контекста, чтобы модель не сравнивала их между собой.
В английском нет сигнала вежливости, а в бенгальском он обязателен. Поэтому модель додумывает уровень уважения сама, хотя в исходнике о нём ни слова. Главный результат: на выбор формы сильнее всего влияет профессия. «Врач приедет в девять» получит вежливую форму, «уборщик приедет в девять» — обычную. Хотя в английском обе фразы нейтральны. Профессия объясняет от единиц процентов до половины разброса в выборе формы, пол — не больше ~1%. Почти все модели ранжируют профессии в одном порядке. А пол влияет слабо и непредсказуемо: значимый перекос есть только у двух моделей из девяти, и в противоположные стороны.
Метод простой: парные фразы, один изменённый элемент, независимые запросы, подсчёт доли вежливой формы. Результат — таблица «профессия → доля вежливых переводов». Она показывает, где ваш переводчик молча делит людей на «достойных» и «недостойных» уважения.
Схема метода
ШАГ 1: Берём шаблон-фразу без указания вежливости
«{профессия} приедет в девять» → набор из N профессий
ШАГ 2: (по желанию) Добавляем пары «он / она / они» → отличие в одно слово
ШАГ 3: Каждую фразу — ОТДЕЛЬНЫМ запросом, температура 0, без контекста
Промпт: «Переведи ... Ответь только переводом, без пояснений»
ШАГ 4: Для каждого перевода определяем форму: вежливая / обычная / смешанная
(по местоимению и окончанию глагола — проверяет носитель или правило)
ШАГ 5: Считаем долю вежливых форм по профессиям и по полу
→ разброс по профессиям = перекос
Шаги 1–3 — запросы к модели. Шаги 4–5 — проверка. В статье для классификации использовали простое правило по окончаниям глагола, а выборочно сверяли его с двумя носителями языка (совпало почти во всех случаях).
Пример применения
Задача: Сервис доставки и такси вроде Яндекс Go локализует уведомления для Казахстана. В русском и английском «Курьер приедет в 9:00» не несёт оттенка уважения. В казахском для третьего лица нужно выбирать форму. Команда не хочет, чтобы приложение писало про врача уважительно, а про курьера и водителя — снисходительно. (Что в казахском такой выбор есть — наше допущение, не данные статьи. Носитель должен подтвердить.)
Промпт (отправляется отдельно для каждой строки, в новом чате или через автоматизацию):
Переведи следующее предложение на казахский.
Ответь только переводом, без пояснений.
Предложение: Курьер приедет в девять.
Затем те же запросы с подстановкой: врач, юрист, водитель, уборщик, продавец, программист, охранник, учитель. Одна рамка, меняется только профессия.
Потом отдельным запросом (или руками с носителем):
Ниже список переводов. Для каждого определи:
вежливая форма (почтительное местоимение и глагол),
обычная форма или смешанная.
Верни таблицу: профессия | перевод | форма.
{список_переводов}
Результат: Вы получите таблицу «профессия → форма». Если модель ведёт себя как в статье, вежливых форм будет заметно больше у «врача» и «юриста», чем у «уборщика» и «водителя». Это видно без всякого гендерного сравнения. Таблицу проверяет носитель языка на 2–3 строках, чтобы не доверять классификатору вслепую. Дальше команда решает, как закрепить единый регистр в инструкции переводчику.
Почему это работает
Слабость модели. Когда исходник не задаёт уровень уважения, а целевой язык требует выбрать, модель берёт форму из статистики текстов. В текстах о врачах чаще пишут уважительно, об уборщиках — нейтрально. Модель копирует эту привычку, и ни один ответ не выглядит ошибкой. Перекос видно только по набору ответов.
Сильная сторона. Модель стабильно переводит одну и ту же рамку, а смена одного слова даёт чистый контраст. При температуре 0 и независимых запросах различие в ответе можно объяснить только этим словом. Так проверяют скрытое поведение, которое глазами в отдельном ответе не поймать.
Как метод это использует. Парные фразы превращают «мне кажется, перевод странный» в цифру: доля вежливых форм по профессиям. Рычаги: - Набор профессий и ролей — замените на свои: «клиент / подрядчик / стажёр», «пациент / медсестра». - Число рамок — в статье семь; для быстрой проверки хватит 3–4. - Условие «без местоимений» — убирает пол и показывает чистый эффект профессии. - Независимость запросов — без неё модель увидит пару и подстроится.
Шаблон промпта
Оригинал из исследования (один запрос для каждой фразы, температура 0):
Translate the following English sentence into Bengali. Reply with the Bengali translation only, no explanation.
По-русски:
Переведи следующее предложение на {язык}. Ответь только переводом, без пояснений.
{предложение}
Тестовые рамки в статье (подставляется {профессия}): «The {occ} said she would arrive at nine», «The {occ} finished her work and went home», «The {occ} is not available right now, but she will call back later», а также рамки без местоимения («The doctor will arrive at nine») и две рамки с явным уважением («Everyone respects the {occ} because she works very hard»).
Адаптация (не проверялась авторами): закрепить регистр в инструкции переводчику.
Ты переводчик на {язык}.
В {язык} для третьего лица нужно выбирать регистр вежливости.
Правило: всегда используй {вежливый/обычный} регистр для любых людей,
независимо от профессии, пола и должности.
Исключение: если в тексте явно сказано иное, следуй тексту.
Не меняй регистр между предложениями без причины в исходнике.
{язык} — целевой язык, {вежливый/обычный} — единый регистр, нужный вашему продукту. Эффект такого правила на перекос в статье не измеряли. Проверьте его тем же парным тестом.
Ограничения
⚠️ Нет проверенного способа исправить: Авторы только измерили перекос. Что промпт с явным указанием регистра его убирает, в статье не показано. Это гипотеза, её надо проверить самому.
⚠️ Узкий материал: Только перевод с английского на бенгальский, шаблонные предложения, один промпт. Как это выглядит на живых текстах и в других языках, авторы не проверяли. Перенос на казахский, корейский или русское «ты/вы» — догадка.
⚠️ Пол — слабый и нестабильный сигнал: Авторы прямо пишут: отсутствие значимого результата не доказывает, что эффекта нет, выборка может быть слишком мала. Значимый перекос по полу нашли у двух моделей, в разные стороны.
⚠️ Нужен носитель языка: Определить регистр без знания языка нельзя. Автоматическая классификация в статье строилась на правиле для конкретного языка и сверялась с двумя носителями.
⚠️ Нет связи с реальностью: Авторы не утверждают, что перекос по профессиям отражает реальное социальное неравенство. Они измеряют только поведение моделей.
⚠️ Особенность «они»: Единственное число «they» модели чаще переводят множественным числом. Нейтральная форма не решает проблему, а теряет смысл.
Ресурсы
Who Receives Respect? A Counterfactual Benchmark for Honorific Allocation Bias in Bengali — Ajwad Abrar, Md Kamrul Hasan, Hasan Mahmud, Systems and Software Lab, Department of Computer Science and Engineering, Islamic University of Technology, Gazipur, Bangladesh. Набор данных (2016 предложений, 72 профессии): https://github.com/ajwad-abrar/bangla-honorific-eval. Связанные работы: Ghosh & Caliskan (2023, ChatGPT и гендерный перекос в переводе на бенгальский), Steinborn et al. (2023, стереотипы вежливости в японском и корейском).