TL;DR
Исследование показывает: промпт для LLM-судьи (модели, которая ставит оценки текстам) нельзя переносить между моделями «по рекомендации». Совет вроде «добавь рассуждение по шагам» или «дай роль» работает не сам по себе, а в связке с конкретной моделью. Те же тексты, та же рубрика, меняется только модель или язык инструкции, и оценки идут в разные стороны.
Боль знакомая: вы настроили судью на одной модели, пересели на другую, и баллы поплыли. Тексты те же, а средняя оценка стала другой. Модель-судья объясняет примерно в семь раз больше разброса оценок, чем выбранная стратегия промпта. Сильнее всего «выбор промпта» зависит от пары «модель + промпт». Перевод инструкций на язык оцениваемого текста поднял среднюю оценку у одной модели на 0,83 балла по шкале 1–5 и опустил у другой на 0,32. На редких языках (йоруба) падение у второй модели достигало 2,16 балла. В общей средней эти разнонаправленные эффекты гасят друг друга и не видны.
Практический вывод: не копируйте «лучший промпт для судьи» из статей и чужих гайдов. Прогоните 2–3 варианта на своей модели и своём языке на небольшой выборке, где есть оценки людей, и выбирайте по совпадению с людьми. По данным исследования, рассуждение по шагам (CoT) даёт самые стабильные оценки между языками. Роль эксперта даёт лучшее совпадение с людьми. Но это не универсальные рецепты, их нужно проверить у себя.
Схема метода
Статья не предлагает фирменный метод. Она показывает, что стратегию нужно проверять, и это прямо вытекает из выводов авторов (в тексте есть рекомендация «валидировать стратегии под своё окружение»). Процедуру ниже я сформулировал сам на основе выводов, авторы её в таком виде не описывают:
ШАГ 1: Собрать 30–50 текстов на нужном языке + оценки людей → таблица
ШАГ 2: Один и тот же текст + рубрика → 3 варианта промпта судьи
(A: без рассуждений, B: рассуждение по шагам, C: роль эксперта)
→ по оценке от каждого варианта
ШАГ 3: Сравнить с оценками людей (совпадение рангов) и разброс между языками
ШАГ 4: Закрепить связку «модель + промпт». Сменили модель или язык — повторить ШАГ 2–3
Шаги 2–3 можно сделать в одном чате или таблице без кода. Для большой выборки хватит простой автоматизации.
Пример применения
Задача: Команда на Ozon переводит карточки товаров на казахский и узбекский. Нужен LLM-судья, чтобы отсеивать плохие переводы до публикации. Менеджер видит в блоге рекомендацию «судья должен рассуждать по шагам» и хочет поставить её сразу. Сначала нужно проверить, как разные промпты ведут себя на их модели. Для этого берут 40 переводов, которые уже оценил живой редактор.
Промпт (вариант B, с рассуждением по шагам):
Ты — редактор-переводчик с русского на казахский, специалист по описаниям товаров для маркетплейса.
Оцени качество перевода карточки товара.
<Исходник>
Беспроводные наушники Redmi Buds 5, шумоподавление, 40 часов работы, цена 3 990 ₽
<Кандидат>
[текст перевода на казахский]
<Рубрика>
1. Адекватность: смысл исходника передан без искажений
2. Беглость: текст звучит естественно для носителя
3. Терминология: названия функций и характеристик переведены корректно
<Шкала>
1 — непригоден, 2 — плохо, 3 — приемлемо, 4 — хорошо, 5 — отлично
<Формат>
Сначала по шагам оцени каждый критерий и коротко объясни. Затем выдай итог:
{"adequacy": N, "fluency": N, "terminology": N, "holistic": N}
Вариант A: тот же промпт без роли и без «сначала по шагам». Вариант C: с ролью, но без рассуждений. Прогоняют все три на одних и тех же 40 переводах.
Результат: На выходе три столбца оценок на каждый перевод. Видно, какой вариант ближе к оценкам редактора и у какого меньше разброс между казахским и узбекским. Скорее всего, оценки по терминологии будут завышены на редких языках. Если смените модель-судью, таблицу нужно пересчитать, прежний победитель не гарантирован.
Почему это работает
Слабость. Модель-судья ведёт себя не как линейка, а как «человек с характером». Её оценки определяются тем, как она обучена и настроена. Промпт лишь слегка сдвигает результат, и сдвиг зависит от модели. Поэтому один и тот же приём у одной модели повышает баллы, а у другой понижает. На редких языках модель хуже «чувствует» текст, и оценки становятся шумнее.
Сильная сторона. Модель хорошо следует рубрике, если критерии заданы явно, и умеет выдавать структурированный ответ (оценка по критериям плюс итог). Именно на этом держатся сравнения. Рассуждение по шагам заставляет её сначала разобрать критерии, и оценки между языками получаются стабильнее.
Как метод обходит слабость. Проверка на своей выборке с людскими оценками превращает «верю рекомендации» в «вижу, что работает у меня». Вы фиксируете пару «модель + промпт» и перепроверяете при смене любой из частей.
Рычаги управления: - Язык инструкции (английский или язык текста) → у одних моделей помогает, у других вредит. Пробуйте оба. - Рассуждение по шагам → стабильнее между языками, но не гарантирует лучшее совпадение с людьми. - Роль эксперта → в исследовании дала лучшее среднее совпадение с людьми. - Рубрика по критериям вместо одной общей оценки → видно, где именно сыплется. На редких языках просаживается прежде всего терминология. - Выборка → чем меньше языков в данных, тем меньше доверия к общей средней. Смотрите оценки по языкам отдельно.
Шаблон промпта
Ты — {роль_оценщика}.
Оцени {объект_оценки} по рубрике.
<Исходник>
{исходный_текст_или_вопрос}
<Кандидат>
{оцениваемый_текст}
<Рубрика>
1. {критерий_1}: {что_значит_хорошо}
2. {критерий_2}: {что_значит_хорошо}
3. {критерий_3}: {что_значит_хорошо}
<Шкала>
1 — {худшее}, 2 — {плохо}, 3 — {приемлемо}, 4 — {хорошо}, 5 — {отлично}
<Формат>
{ВАРИАНТ_B: Сначала по шагам оцени каждый критерий и коротко объясни.}
Затем выдай итог в JSON: {"{критерий_1}": N, "{критерий_2}": N, "{критерий_3}": N, "holistic": N}
Подставляйте:
- {роль_оценщика} — конкретный эксперт: «редактор-переводчик с русского на казахский» (вариант C). Для варианта A строку роли уберите.
- {критерий} — 2–4 критерия под задачу (для перевода — адекватность, беглость, терминология).
- Строку про рассуждение по шагам оставляйте для варианта B, убирайте для A и C.
- Язык инструкции: попробуйте русский и язык оцениваемого текста.
🚀 Быстрый старт — вставь в чат:
Вот шаблон промпта для LLM-судьи. Адаптируй под мою задачу: [что оцениваю и на каком языке].
Сделай три варианта: A (без роли и без рассуждений), B (с рассуждением по шагам), C (с ролью эксперта).
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что вы оцениваете, на каком языке, какие критерии важны и как выглядит «хорошо» и «плохо». Эти ответы нужны, чтобы рубрика и шкала были конкретными, иначе судья будет ставить оценки «на глаз».
Ограничения
⚠️ Проверено только на открытых моделях: четыре судьи (Aya Expanse, Gemma 3, две Qwen 2.5). Платные модели (GPT, Claude, Gemini) не тестировали. Общий вывод «зависит от судьи» вероятно переносится, но конкретные эффекты (какая стратегия помогает) — нет.
⚠️ Оценивали эталонные тексты: большая часть данных — тексты, написанные людьми. Оценки там упираются в потолок (выше 4,5), поэтому различия между стратегиями сжаты. Реальные ответы моделей дают более широкий разброс.
⚠️ Мало человеческой проверки: совпадение с людьми измеряли только на трёх датасетах (перевод и пересказы), и только перевод — на неанглийских языках. Для суммаризации, вопросов-ответов и математики на редких языках живой проверки нет.
⚠️ Нет универсального рецепта: статья не говорит «используйте вот это». Роль показала лучшее среднее совпадение с людьми, но это среднее по трём наборам, и на отдельной модели результат может быть иным. Выбор всё равно надо проверять.
⚠️ Текст обрывается: обсуждение причин (почему одна из моделей ведёт себя иначе) в предоставленном фрагменте не закончено, выводов оттуда нет.
Как исследовали
Идея была простой: зафиксировать тексты и менять только то, как мы просим модель оценить. Исследователи взяли 4 открытые модели-судьи, 9 стратегий промптинга (без примеров, с примерами, рассуждение по шагам, роль, три самосогласованных запуска и другие), 27 языков (от английского до йоруба и волоф), 4 задачи (перевод, пересказ, ответы на вопросы, математика) и 13 наборов данных. Всего получилось около 1,07 млн оценок.
Оценивали эталонные тексты, написанные людьми. Тогда разница в баллах приходится не на качество текста, а на настройки судьи. Затем разложили разброс оценок по источникам: «какая модель» против «какая стратегия». Модель объясняет 8,7% разброса, стратегия всего 1,2%. А взаимодействие «модель × стратегия» (5,6%) больше, чем сама стратегия. Это и есть главный сюрприз: эффект приёма определяется тем, на какой модели его применяют.
Дальше смотрели согласие между судьями. Ранжирование стратегий у разных моделей совпадало слабо: корреляция 0,46 на переводе с популярных языков, 0,04 на редких, а на пересказах местами отрицательная. То есть две модели могут ставить стратегии в прямо противоположном порядке. Рассуждение по шагам давало самые стабильные оценки между языками (коэффициент вариации 0,036), а Prometheus-стиль (оценка по критериям до итогового балла) был самым нестабильным (0,165). Монолингвальный промпт (инструкции на языке текста) поднял баллы у Gemma на 0,83 и опустил у Aya на 0,32. У Aya на йоруба падение достигло 2,16 балла. Сверка с людьми показала, что роль эксперта даёт лучшее среднее совпадение (0,483), а перевод текста на английский перед оценкой — худшее (0,321).
Вывод для практики: любое «в среднем помогает» может скрывать разнонаправленные эффекты на конкретных моделях и языках. Проверять нужно на своём сочетании.
Ресурсы
- Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness — Asal Mehrabi, Mohammad Aliannejadi (University of Amsterdam), Clemencia Siro (Centrum Wiskunde & Informatica, CWI).
- Опирается на: Fu & Liu (2025) — несогласованность судей в 25 языках; Zheng et al. (2023) — LLM-as-a-judge; Kim et al. (2024) — Prometheus; Bellibatlu et al. (2026) — чувствительность судей к перефразированию.
- Данные: авторы публикуют 1,07 млн оценок, оценки по критериям и шаблоны промптов.
- Полные шаблоны промптов находятся в Приложении C статьи, в предоставленном фрагменте их нет.