TL;DR
Когда LLM-судья оценивает пачку элементов подряд в одном чате («принять/отклонить» по 30 заявкам), его каждый следующий вердикт зависит от предыдущего. Авторы описывают это статистической моделью (GLMM, смешанная логистическая модель), где вердикт зависит от качества элемента, от предыдущих вердиктов, от «холодного старта» на первой позиции и от общей строгости конкретного прогона. Модель проверили на трёх коммерческих моделях.
Главная находка: привычный рецепт «перемешай порядок и усредни оценки» работает для ранжирования (найти лучший элемент), но ломается при сравнении групп («набор A лучше набора B?»). Сама шкала нелинейная, и среднее по перемешанным прогонам даёт систематическое смещение. Его не лечит ни рост числа прогонов, ни дополнительные траты токенов. Больше прогонов даёт больше уверенности в неверном выводе. Сама зависимость видна уже в сырых данных: после «отклонить» следующий элемент принимается в 73,0% случаев, после «принять» только в 66,6%.
Суть метода: не менять промпт, а менять способ подсчёта и дизайн прогонов. Для ранжирования можно ротировать порядок по схеме «квадрат Уильямса» (сбалансированная латинская ротация), а для сравнения групп подогнать модель с поправкой на предыдущий вердикт, первую позицию и эффект батча.
Схема метода
ШАГ 1: Все элементы (обе группы вместе) → в один батч, случайный порядок
Каждый элемент ровно 1 раз в батче. Повтор N раз с НОВЫМ перемешиванием.
ШАГ 2: Судья даёт бинарный вердикт каждому элементу по очереди → таблица 0/1
ШАГ 3а (ранжирование): среднее по прогонам на элемент → выбрать лучший
(опц.: порядки по схеме Уильямса вместо чисто случайных — точнее,
когда элементы близки по качеству)
ШАГ 3б (сравнение групп): НЕ среднее!
Подогнать модель: вердикт ~ элемент + предыдущий вердикт
+ «первая позиция» + случайный эффект батча
→ вывод о разнице групп из модели
Шаги 1–2 делаются в чате или автоматизации. Шаг 3б требует небольшого скрипта (его можно написать с помощью LLM).
Пример применения
Задача: Вы директор по продукту в маркетплейсе. Команда поддержки переписала промпт для ответов клиентам. Нужно понять: ответы по новому промпту (B) действительно лучше старых (A)? Вы берёте 15 ответов A и 15 ответов B на одни и те же типы обращений («где мой заказ из Казани», «возврат за блендер») и просите LLM-судью вынести вердикт «годится / не годится».
Промпт (повторяется N=50–200 раз, каждый раз с новым случайным порядком ответов):
Ты — строгий проверяющий качества ответов службы поддержки маркетплейса.
Ниже 30 ответов клиентам в случайном порядке. Критерий «годится»:
ответ решает проблему клиента, вежлив, не содержит выдуманных обещаний.
Оценивай ответы строго по порядку, один за другим.
Для каждого выведи ровно одну строку в формате:
<номер>: ГОДИТСЯ или НЕ ГОДИТСЯ
Никаких пояснений. Не пересматривай прошлые вердикты.
Ответы:
1. {ответ_1}
2. {ответ_2}
...
30. {ответ_30}
Результат: В каждом прогоне модель выдаёт 30 строк с вердиктами. После 50–200 прогонов с разными перемешиваниями у вас таблица: элемент, группа (A/B), позиция, вердикт. Если просто посчитать долю «годится» в A и в B, получится правдоподобная, но потенциально смещённая разница. Для надёжного вывода отправьте таблицу LLM с просьбой написать скрипт смешанной модели (см. шаблон ниже). Разницу групп читайте из модели, а не из среднего.
Почему это работает
Слабость. Судья в одном контексте не «обнуляется» между элементами. Он видит свои прошлые вердикты, и они влияют на следующие. В данных статьи это отрицательная зависимость: принял, и следующий проходит чуть труднее. Перемешивание порядка делает эту зависимость случайным шумом, но не убирает её из формулы подсчёта.
Почему среднее врёт при сравнении групп. Связь между качеством и вероятностью «принять» нелинейна (S-образная кривая). Фоновый сдвиг от контекста (предыдущий вердикт, строгость прогона) действует по-разному на слабые и сильные элементы. У двух групп с разным уровнем качества среднее искажается по-разному. Искажение не исчезает с ростом числа прогонов: вы всё точнее измеряете смещённую величину. Для простого поиска лучшего элемента этого достаточно: порядок элементов сохраняется, если они хоть немного различаются по качеству.
Рычаги управления: - Число прогонов N: больше прогонов даёт меньше шума, но не лечит смещение при сравнении групп. - Размер батча: все элементы обеих групп должны быть в одном батче, иначе строгость прогона перепутается с различием групп. - Бинарная шкала: статья моделирует «принять/отклонить». Для баллов 1–10 вывод придётся проверять отдельно. - Ротация порядков по Уильямсу: полезна, когда элементы очень близки по качеству и вы ищете лучшего. Затрат токенов не добавляет. - Критерий судьи: статья его не трогает. Она предполагает, что критерий верный, и чинит только подсчёт.
Шаблон промпта
Протокол судейского прогона (воспроизводит условия статьи):
Ты — {роль_судьи}. Критерий вердикта «{положительный_вердикт}»: {критерий}.
Ниже {число_элементов} элементов в случайном порядке.
Оценивай строго по порядку, один за другим.
Для каждого выведи ровно одну строку:
<номер>: {положительный_вердикт} или {отрицательный_вердикт}
Без пояснений. Не пересматривай прошлые вердикты.
Элементы:
{пронумерованный_список_элементов}
Плейсхолдеры: {роль_судьи} и {критерий} — ваш рабочий критерий. Элементы обеих сравниваемых групп всегда идут в одном списке. Порядок меняйте для каждого прогона автоматически (в таблице или автоматизации без кода).
Запрос на анализ (для сравнения групп):
У меня таблица результатов LLM-судьи. Столбцы: batch (номер прогона),
position (позиция в прогоне), item (элемент), group (A или B),
verdict (0 или 1).
Напиши скрипт на Python, который подгоняет логистическую смешанную модель:
- вердикт зависит от элемента (или группы);
- признак «предыдущий вердикт в прогоне» (лаги 1–3, выбери по AIC/BIC);
- признак «первая позиция в прогоне»;
- случайный эффект на прогон (batch);
- если у элемента вердикты почти всегда одинаковые — слабый штраф (ридж),
доверительные интервалы через бутстреп по целым прогонам (batch).
Выведи разницу между группами A и B с доверительным интервалом.
🚀 Быстрый старт — вставь в чат:
Вот протокол судейского прогона и запрос на анализ. Адаптируй под мою задачу: {моя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что вы сравниваете, какой критерий у судьи, сколько элементов и в каком формате у вас данные. Это нужно, чтобы собрать батч «обе группы вместе» и подогнать код анализа под ваши столбцы.
Ограничения
⚠️ Нужен код для анализа: вывод применяется не промптом, а способом подсчёта. Скрипт смешанной модели несложно получить от LLM, но запустить его и проверить результат придётся вам.
⚠️ Узкая проверка: модели проверены на одной задаче (приём/отказ по 30 научным заявкам) и на бинарных вердиктах. Для баллов, парных сравнений и других задач структуру зависимости надо выбирать заново. Сами авторы подчёркивают, что найденная структура относится к этим судьям и этой задаче.
⚠️ Валидность не решена: статья чинит только подсчёт. Если критерий судьи не совпадает с тем, что вам реально нужно, никакая статистика не поможет.
⚠️ Простое среднее не всегда плохо: для поиска лучшего из пула оно остаётся состоятельным, если качество элементов заметно различается. Вредит оно именно при сравнении групп.
⚠️ Разные судьи, разная память: глубина зависимости различается между моделями (у одной только предыдущий вердикт, у других до трёх шагов назад). Универсальной поправки нет.
Как исследовали
Исследователи взяли три коммерческие модели: Gemini 2.5 Flash, GPT-5.4-mini и Claude Haiku 4.5. Каждая оценивала одни и те же 30 заявок на гранты в 200 прогонах. В каждом прогоне все 30 заявок шли подряд в случайном порядке, судья ставил «принять/отклонить». Сначала посмотрели сырые данные: у Gemini после отказа следующая заявка принималась в 73,0% случаев, после принятия — в 66,6% (95% интервал разницы −8,9…−3,9 п.п.). То есть судья слегка «уравновешивает» себя. Затем описали это моделью с тремя компонентами: влияние предыдущих вердиктов, эффект первой позиции и случайная строгость конкретного прогона. Глубина памяти у моделей оказалась разной: у Gemini достаточно одного предыдущего шага, у GPT и Claude — до трёх. Чтобы убедиться, что модель не просто подогнана под данные, собрали 100 новых прогонов и проверили предсказания. 34 из 36 переходных вероятностей легли в 95% интервалы.
Главный практический вывод вытекает из математики. Нелинейность шкалы «качество → вероятность принять» делает простое среднее смещённым при сравнении групп, а смещение не зависит от числа прогонов. Это и удивляет больше всего: больше бюджета означает уверенность в неверном ответе. Для ранжирования же среднее оказывается состоятельным. В заключительном примере авторы применили метод для сравнения двух методов оценки графических моделей по «научной осмысленности» найденных связей. Замечание: в доступном тексте обрезаны разделы с результатами по дизайну Уильямса, высшим порядкам и самим выводом по примеру, поэтому конкретные цифры по ним не приведены.
Адаптации и экстраполяции
🔧 Техника: быстрая диагностика собственного судья-пайплайна → понять, есть ли серийная зависимость
Это простая проверка из первого рисунка статьи. Её можно выполнить без модели вообще:
Вот таблица вердиктов судьи по прогонам (batch, position, verdict).
Посчитай:
1. долю «1» на позициях 2+ сразу после «0» и сразу после «1»;
2. бутстреп-интервал для разницы (ресэмплинг по целым прогонам);
3. долю «1» на позиции 1 отдельно.
Если разница заметна и интервал не включает 0 — зависимость есть.
Если зависимость есть, наивное сравнение групп — под подозрением. Если её нет, вам, скорее всего, хватит простого среднего.
Экстраполяция (за пределами статьи): если не хочется подгонять модель, можно снизить зависимость самим протоколом: оценивать каждый элемент отдельным запросом (без общего контекста). Это стоит дороже по токенам, но убирает серийный эффект. Это моя идея, статья такой вариант не проверяла.
Ресурсы
- Название работы: Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects
- Авторы: Tianxi Li, Jie Ding — School of Statistics, University of Minnesota
- Упоминаемые смежные работы: MT-Bench и Chatbot Arena (Zheng et al., 2023; Chiang et al., 2024), AlpacaEval (Dubois et al., 2023, 2024), обзоры по смещениям LLM-судей (Gu et al., 2024; Ye et al., 2024)