TL;DR
URW — способ собрать итоговую оценку ответа по рубрике (список критериев «да/нет») так, чтобы шаткие оценки весили меньше уверенных. Каждый критерий проверяют не один раз, а через 6 перефразированных формулировок, одинаковых по смыслу. Если судья на все 6 отвечает одинаково, оценке верят. Если ответы разошлись, вес критерия падает.
Боль обычная: LLM-судья выдаёт по каждому критерию голое «да/нет» без уровня уверенности. Критерий «указан номер заявки» судья проверяет надёжно. Критерий «тон эмпатичный» он оценивает почти наугад. Но в сумме оба считаются одинаково. Если два ответа почти равны, один шаткий вердикт про «тон» переворачивает весь результат. Судья вам про сомнение не скажет, потому что в его ответе нет места для сомнения.
Суть метода в два шага. Сначала смотрим стабильность вердикта при смене формулировки: устойчивый вердикт надёжен, шаткий нет. Потом превращаем стабильность в вес. В статье для этого используют калибровку на размеченных примерах (конформный p-value). Без неё идея работает в упрощённом виде: голосование по формулировкам и вес по доле согласия.
Схема метода
ПОДГОТОВКА (один раз):
Для каждого критерия → 6 перефразов с тем же смыслом (проверить глазами)
Калибровочный набор: ~2000 вердиктов судьи с эталонными ответами
ДЛЯ КАЖДОГО ОТВЕТА И КРИТЕРИЯ (6 отдельных запросов, температура 0):
ШАГ 1: Судья проверяет критерий по каждому из 6 перефразов → 6 × «0/1»
ШАГ 2: Среднее по 6 → «мягкая оценка» v̂ (0…1; около 0.5 = судья сомневается)
ШАГ 3: Голос критерия = round(v̂); ошибка = |v̂ − эталон| из калибровки
ШАГ 4: Вес = p-value: как часто при такой же уверенности судья был прав → «вес»
ШАГ 5: Веса нормируем (сумма = 1)
ИТОГ: Оценка ответа = Σ вес × голос; побеждает ответ с большей оценкой
Каждый перефраз — отдельный запрос. Один запрос на все 6 формулировок не годится: ответы повлияют друг на друга.
Пример применения
Метод сильнее всего в сравнении двух близких ответов, когда решает один субъективный критерий. Субъективные критерии — самое шаткое место судьи, поэтому тут вес и нужен.
Задача: Вы руководите поддержкой маркетплейса вроде Wildberries и сравниваете два ответа бота клиенту. Клиент в панике: посылка с подарком на день рождения ребёнка «потерялась» в пункте выдачи. Ответы совпадают по фактам и различаются только тоном. Нужно понять, какой лучше, и не дать шаткому вердикту про «тон» решить исход.
Шаг А. Промпт для генерации перефразов критерия (один раз):
Критерий для проверки ответа службы поддержки:
«Ответ признаёт тревогу клиента и обращается к нему с заботой, а не формально».
Напиши 6 формулировок этого критерия. Требования:
- смысл не меняется: не добавляй и не убирай условий;
- каждая формулировка — утверждение, на которое можно ответить «да» или «нет»;
- разные слова и структура фраз.
Выведи нумерованный список.
Шаг Б. Промпт судьи (запускать отдельно для каждого из 6 перефразов и для каждого ответа):
Ты проверяешь ответ службы поддержки по одному критерию.
Ситуация клиента: «Посылка с подарком ребёнку на день рождения не пришла в пункт выдачи, я в панике».
Ответ поддержки:
«{текст_ответа}»
Критерий:
«{перефраз_N}»
Ответь строго в формате JSON: {"verdict": 1 или 0}
1 — критерий выполнен, 0 — нарушен. Никаких пояснений.
Шаг В. Сводка (вручную или в таблице): для каждого критерия посчитайте долю «1» из 6. Критерии с долей 0.5 почти не учитывайте. Критерии с 0 или 1 учитывайте в полную силу.
Результат: Объективные критерии («указан номер заявки», «названа дата решения») дадут 6 из 6 или 0 из 6. Критерий про тон, скорее всего, даст разброс вроде 3 из 6. Такой критерий получит малый вес, и итог решат стабильные критерии. Если ответы и после этого почти равны, это сигнал отдать пару человеку, а не доверять машине.
Почему это работает
Слабость: LLM-судья на выходе даёт только «да/нет». За голым вердиктом не видно, твёрдый он или случайный. На субъективных критериях (тон, полезность) формулировка вопроса меняет ответ. На проверяемых критериях (формат, длина) такого нет.
Сильная сторона: то, что судья колеблется, видно по поведению. Устойчивый вердикт остаётся тем же при смене формулировки, а неустойчивый «переворачивается». Это бесплатный датчик уверенности, и он работает при температуре 0 — ту же модель не нужно «трясти» случайностью.
Как метод это использует: разброс по 6 формулировкам превращается в вес. Калибровка на размеченных примерах учит, что именно значит «4 из 6» — насколько часто судья прав при такой согласованности. Поэтому вес честнее, чем просто «доля голосов».
Рычаги управления: - Число перефразов (N) → больше формулировок дают более тонкую шкалу уверенности, но стоят дороже. В статье N = 6. - Проверка перефразов → чем строже вы убедились, что смысл не уплыл, тем чище сигнал. Иначе разброс покажет разницу в смысле, а не сомнение судьи. - Мягкий вес вместо жёсткого отсева → в статье мягкий вес обошёл вариант «выбросить сомнительные критерии». - Калибровочный набор → чем он ближе к вашей предметной области, тем точнее веса.
Шаблон промпта
В тексте статьи самих перефразов нет, они вынесены в приложение. Ниже собранный по описанию метода шаблон пары «генерация перефразов + судья».
1. Генерация перефразов:
Критерий оценки: «{критерий}».
Напиши {число_перефразов} формулировок этого критерия.
- Смысл тот же, ничего не добавляй и не убирай.
- Каждая — утверждение, на которое можно ответить «да» или «нет».
- Меняй слова и структуру фразы.
Выведи нумерованный список.
2. Судья (отдельный запрос на каждый перефраз):
Ты проверяешь ответ по одному критерию.
Задача пользователя:
«{задача}»
Ответ для проверки:
«{ответ}»
Критерий:
«{перефраз}»
Верни только JSON: {"verdict": 1 или 0}
1 — критерий выполнен, 0 — нарушен.
3. Сводка (одним запросом, когда все вердикты собраны):
Вот вердикты судьи по критериям для двух ответов.
Ответ А: {таблица_вердиктов_А}
Ответ Б: {таблица_вердиктов_Б}
Для каждого критерия посчитай долю «1» (v̂ = среднее по перефразам).
Критерий считай шатким, если v̂ между {нижний_порог} и {верхний_порог}.
Вес критерия = {правило_веса}. Нормируй веса так, чтобы сумма была 1.
Итог ответа = сумма (вес × round(v̂)).
Покажи таблицу и победителя.
Подставляйте: {критерий} — один пункт вашей рубрики, {число_перефразов} — 6, {перефраз} — одну из формулировок, {нижний_порог} и {верхний_порог} — например 0.35 и 0.65, {правило_веса} — см. упрощение в «Адаптациях».
🚀 Быстрый старт — вставь в чат:
Вот шаблон URW (взвешивание критериев по стабильности вердикта). Адаптируй под мою задачу: [твоя задача — что сравниваю и по каким критериям].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что вы сравниваете и по каким критериям, какие из них субъективные и сколько перефразов нужно. Это нужно, чтобы написать перефразы, которые не меняют смысл, и выбрать пороги «шаткости». Модель возьмёт паттерн из шаблона и соберёт готовый набор промптов под вашу рубрику.
Ограничения
⚠️ Полный метод требует калибровки: нужен набор примеров с эталонными ответами (в статье около 2 000 оценок критериев) и подсчёт p-value. Это уже код или таблица, а не чат. Гарантия в статье держится, только если калибровочные примеры похожи на ваши.
⚠️ Упрощённая версия проверена слабее: вариант «только ансамбль перефразов с равными весами» (абляция в статье) даёт прирост небольшой, а иногда слегка вредит. Основной выигрыш приходит от калибровки.
⚠️ Цена: вместо одного запроса на критерий идёт 6. На длинных рубриках и большом потоке ответов это заметный расход.
⚠️ Качество перефразов: если перефраз меняет смысл, разброс покажет не сомнение судьи, а разницу вопросов. В статье перефразы проверяли вручную сами авторы.
⚠️ Субъективные критерии не станут надёжными: метод лишь снижает их влияние. Если пара ответов решается только таким критерием, метод скажет «не уверен», а не «вот правильный ответ».
⚠️ Проверено на попарных сравнениях с бинарными критериями. Для шкал 1–10 и абсолютной оценки одного ответа метод не тестировали.
Как исследовали
Исследователи взяли пять наборов данных, где у каждой пары ответов есть человеческая метка «какой лучше». Среди них RubricBench, ResearchQA, RM-Bench и самые сложные подмножества RewardBench и RewardBench 2. Судей было три: DeepSeek V4 Pro, Qwen 3.8 Max и GLM 5.3. Для калибровки использовали отдельный набор: 200 запросов, около 2 000 размеченных критериев, и он ни разу не пересекался с тестом.
URW сравнивали с пятью конкурентами. Uniform — все критерии с равным весом. Beta-Binomial — байесовский подсчёт по тем же 6 перефразам. Sampling Ensemble — повторные запросы при температуре 0.7. И две версии простой конформной калибровки с жёстким отсевом сомнительных критериев. URW выиграл у всех в каждой комбинации «судья × набор». Относительный прирост над равными весами был от нескольких процентов до 21.5% (RewardBench 2 с DeepSeek: 0.625 → 0.759).
Самое интересное — абляция. Если оставить только ансамбль перефразов с равными весами, прирост маленький, а в двух случаях точность даже чуть падала. Если оставить только калибровку на одном шаблоне, прирост заметно больше. Вместе они давали максимум. Вывод для практики: сам разброс — только сырьё, а настоящий вес появляется, когда разброс сверен с реальными ошибками судьи. Мягкий вес обошёл жёсткий отсев: отбросить сомнительное хуже, чем приглушить его.
Заявлено также улучшение при обучении модели с подкреплением на таких весах, но в доступном тексте эти результаты обрываются, и проверить их нельзя.
Адаптации и экстраполяции
🔧 Техника: упрощённый вес без калибровки → быстрая версия в чате
Если калибровочного набора нет, берите вес по формуле
вес = |2·v̂ − 1|(0 при полном сомнении, 1 при полной уверенности) и нормируйте. Это не метод из статьи и никаких гарантий не даёт, но направление то же: шаткие критерии весят меньше.Для каждого критерия: v̂ = доля «1» среди {число_перефразов} вердиктов. Вес = |2·v̂ − 1|. Если все веса равны 0, пометь пару как «не решается машиной».
🔧 Техника: «сигнал спорности» → отдавать человеку
Если победитель определился только за счёт критериев с v̂ в диапазоне 0.35–0.65, не называй победителя: «Требуется человеческая проверка». Метод в статье этого не делает, но идёт из той же логики: не доверять шаткому вердикту.
Экстраполяция. Тот же принцип работает для проверки собственных промптов: прогоните одну и ту же проверку «ответ соответствует тону бренда» через 6 формулировок. Если вердикт скачет, сам критерий плохо описан, и его стоит переписать.
Ресурсы
- Название работы: Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation (URW)
- Авторы: Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren
- Организации: Zhejiang University, Xiaohongshu Inc, National University of Singapore, Peking University, Renmin University of China, Mohamed bin Zayed University of Artificial Intelligence
- Код: https://anonymous.4open.science/r/URW-27E4
- Опорные работы: конформное предсказание (Shafer & Vovk, 2008; Lei et al., 2018); бенчмарки RubricBench, ResearchQA, RM-Bench, RewardBench, RewardBench 2