TL;DR
Когда просишь LLM оценить текст по числовой шкале — результат зависит не только от качества материала, но и от языка, на котором ты задал вопрос. Один и тот же текст получит заметно более высокий балл, если оценку запросить на хинди или иврите, и более низкий — на английском или французском. Разрыв достигает 0,5 балла на шкале 1–5 и воспроизводится во всех протестированных моделях.
Главная находка звучит контринтуитивно: чем меньше данных на языке у модели, тем щедрее она оценивает. Хинди, арабский, иврит, фарси — в верхней части. Английский, французский, итальянский — в нижней. Ожидаешь обратного: незнакомый язык → хаотичные оценки. Но происходит противоположное. Когда модель хорошо знает язык, она сравнивает текст с высокой внутренней планкой. Когда язык незнакомый — планка расплывается, неопределённость растёт, и модель ставит выше, чтобы «не ошибиться».
Практический вывод: просишь AI оценить твою копирайт-задачу, бизнес-питч или ответ — язык запроса сдвигает шкалу. Хочешь строгую оценку — спрашивай на английском. Хочешь проверить то же самое с меньшим давлением — попробуй на менее распространённом языке. Для надёжной оценки — сравни оба результата.
Схема метода
Это не пошаговая техника, а знание о том, как работает шкала AI-оценщика. Схема применения:
ЗАПРОС НА ОЦЕНКУ
↓
ЯЗЫК ЗАПРОСА → СТРОГОСТЬ ОЦЕНКИ
Английский / французский / итальянский
→ Самая строгая оценка (нижняя планка)
Русский / немецкий / польский
→ Средняя строгость
Хинди / иврит / арабский / фарси
→ Наиболее мягкая оценка (верхняя планка)
↓
СТРАТЕГИЯ ВЫБОРА:
Финальная проверка качества → English
Черновой прогон / не зависнуть → родной язык
Кросс-проверка надёжности → оба языка, сравни разрыв
Пример применения
Задача: Артём пишет продающий лендинг для своего онлайн-курса по финансовой грамотности. Просит Claude оценить текст главного блока по шкале 1–5 перед публикацией.
Промпт (строгая проверка — для финального контроля):
Rate the following landing page block on a scale from 1 to 5,
where 1 = weak, unconvincing copy and 5 = excellent,
high-converting text. Be strict.
[вставить текст блока лендинга]
Give: numerical score + 2–3 specific reasons.
Промпт (мягкий черновой прогон — для первичного разбора):
Оцени следующий блок лендинга по шкале от 1 до 5,
где 1 — слабый неубедительный текст, 5 — сильный продающий.
[вставить текст блока лендинга]
Дай: оценку + 2–3 конкретных замечания.
Промпт (кросс-проверка — чтобы понять реальный диапазон):
I'll show you the same text twice: once in English, once in Russian.
Rate each version on a scale from 1 to 5. Use the same criteria for both.
Note if your scores differ and why.
[English translation of the block]
---
[Оригинальный текст блока на русском]
Результат:
При строгой проверке на английском — Claude выдаст заметно более требовательную оценку с конкретными замечаниями. На русском тот же текст получит балл выше. Кросс-проверка покажет разрыв в 0,3–0,5 балла — это и есть «языковой сдвиг» оценщика. Ориентируйся на английскую версию как на минимальную планку, на русскую — как на максимальную.
Почему это работает
Слабость LLM как оценщика. Числовая шкала (1–5) кажется объективной, но модель не хранит фиксированные «стандарты качества» в виде правил. Она генерирует оценку, опираясь на паттерны из тренировочных данных. Чем больше данных на языке — тем точнее «внутренний эталон». На английском модель видела миллиарды примеров хорошего и плохого текста — планка высокая. На хинди данных меньше — эталон размытый.
Неопределённость → завышение. Когда модель обрабатывает малознакомый язык, она в буквальном смысле менее уверена в каждом токене. Исследование показало: чем выше «удивление» модели от языка, тем выше балл, который она ставит. Это не случайность и не ошибка в одной модели — паттерн воспроизводится во всех восьми протестированных моделях, включая GPT-4.1-mini и Qwen3-32B.
Слепое пятно метрики. Стандартный способ проверять AI-оценщиков — смотреть, правильно ли они ранжируют ответы (A лучше B?). По этой метрике всё выглядит здорово: точность >90% на всех языках. Но абсолютный балл (принять / отклонить по порогу) искажается. Один и тот же ответ на английском — балл ниже порога, отклонён. На украинском — тот же ответ выше порога, принят. Рейтинги сошлись, решения разошлись.
Рычаги управления: - Язык запроса — главный рычаг. Меняешь язык → меняешь строгость. - Слово «strict» / «be demanding» в инструкции — частично компенсирует языковой сдвиг, но не убирает его полностью. - Кросс-языковая проверка — если нужна надёжная оценка, спроси на двух языках и смотри на разрыв. Большой разрыв = сигнал, что оценка нестабильна.
Шаблон промпта
Для строгой оценки (English baseline):
Rate {объект оценки} on a scale from 1 to 5:
1 = {критерий минимума}
5 = {критерий максимума}
Be strict. Apply high standards.
{контент}
Output: score + {число} specific reasons.
Для кросс-языковой проверки надёжности оценки:
I will show you {объект оценки} in two languages.
Rate each separately on a scale from 1 to 5 using identical criteria.
Criteria:
1 = {критерий минимума}
5 = {критерий максимума}
--- ENGLISH VERSION ---
{English перевод контента}
--- RUSSIAN VERSION ---
{Русский оригинал контента}
Output:
- English score + reasoning
- Russian score + reasoning
- If scores differ: explain why
Что подставлять:
- {объект оценки} — что оцениваем: заголовок, питч, ответ, резюме
- {критерий минимума/максимума} — конкретные полюса шкалы под задачу
- {контент} — сам материал для оценки
- {число} — сколько причин хочешь получить (2–3 достаточно)
🚀 Быстрый старт — вставь в чат:
Вот шаблон для надёжной оценки контента через LLM с учётом языкового сдвига.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит что оцениваем, по каким критериям и нужна ли кросс-проверка — потому что без этого шаблон остаётся пустым.
Ограничения
⚠️ Техника кросс-проверки не убирает предвзятость: она только показывает её размер. Мы сравниваем два смещённых результата, а не получаем «правду».
⚠️ Русский язык — средняя зона: он не самый строгий и не самый мягкий. Это значит — оценка на русском стабильно мягче английской, но стабильно строже хинди. Как именно смещена — зависит от модели.
⚠️ Не работает как абсолютная калибровка: языковой сдвиг — систематический, но его точная величина варьируется между моделями. То, что GPT-4o сдвигает на 0,3 балла, Claude может сдвигать на 0,4 или 0,2.
⚠️ Попытка обойти через языковой тег ненадёжна: если написать контент со смешением языков (русский текст + английские вставки), языковой определитель модели путается — оценка становится непредсказуемой.
Как исследовали
Идея была простой: взять одни и те же пары «запрос → ответ», перевести их на 23 языка профессионально (не машинным переводом), скормить одному и тому же AI-оценщику и посмотреть — изменятся ли баллы? Они изменились кардинально.
Исследователи из Кембриджа прогнали через восемь оценщиков — четыре «судьи» типа LLM-as-a-Judge (просят модель поставить балл 1–5) и четыре reward model (модели, натренированные специально для оценки). Контент был семантически идентичным во всех 23 языках — профессиональные переводчики верифицировали каждый перевод вручную. Оценщики видели буквально одно и то же, только в разной языковой обёртке.
Удивительная часть: исследователи сначала проверили стандартную метрику — попарную точность (правильно ли оценщик выбирает лучший из двух ответов). По ней всё выглядело отлично: >90% во всех языках. Затем они переключились на абсолютные баллы и увидели катастрофу. Один и тот же ответ на английском и на украинском — разница в принятии/отклонении по единому порогу достигает 44 процентных пункта. Модель «правильно ранжировала» оба ответа, но на английском отклоняла, а на украинском — пропускала.
Для понимания механизма проверили гипотезу об «удивлении»: чем сложнее модели обрабатывать язык (измерено через суммарное отрицательное логарифмическое правдоподобие — грубо: насколько предсказуем для неё каждый следующий токен), тем выше балл. Гипотеза подтвердилась, но не полностью — даже после учёта «удивления» языковая принадлежность оставалась самостоятельным предиктором оценки. То есть дело не только в неопределённости — в модели есть структурный перекос по языкам.
Адаптации и экстраполяции
💡 Адаптация: AI-судья для сравнения резюме или предложений
Если просишь AI выбрать лучший вариант из двух (A vs B) — языковой сдвиг не влияет: попарная точность стабильна. Используй ранжирование, а не баллы, когда важна надёжность:
Сравни два варианта заголовка. Какой сильнее и почему?
Не ставь баллы — просто выбери лучший и объясни.
Вариант A: {текст A}
Вариант B: {текст B}
Это обходит языковой сдвиг — потому что предвзятость действует на абсолютные баллы, но почти не влияет на относительное ранжирование.
🔧 Техника: «строгий» vs «добрый» режим через смену языка
Если застрял на оценке своей идеи — хочешь и строгой критики, и вдохновляющего разбора — попробуй оба языка намеренно:
[Запрос на English] → Строгая оценка, высокие стандарты
[Тот же запрос на русском] → Более мягкая, часто более мотивирующая обратная связь
Это не манипуляция — это разные точки зрения на один и тот же материал. Как попросить одного и того же человека оценить тебя в роли Requirements и в роли Mentor.
💡 Экстраполяция: защита от лести AI
Если замечаешь, что AI слишком часто хвалит твои тексты — переключи язык на английский и попроси ту же оценку. Высокая вероятность, что получишь более жёсткие замечания. Это быстрый способ «сбросить» лесть без длинных инструкций "be harsh, be critical".
Ресурсы
Статья: LLM Evaluators are Biased across Languages
Авторы: Ej Zhou, Lucas Resck, Zheng Hui, Anna Korhonen — Language Technology Lab, University of Cambridge
Связанные работы из статьи: - RewardBench (Lambert et al., 2025) — стандарт оценки reward models - M-RewardBench (Gureja et al., 2025) — мультиязычное расширение - LLM-as-a-Judge (Zheng et al., 2023) — фреймворк судей - M-Prometheus (Pombal et al., 2025) — мультиязычная модель-судья