TL;DR
Исследование показывает, что один балл от LLM (например, «7 из 10» за текст) — это не измерение, а случайная выборка. Если запросить оценку одного и того же материала несколько раз в чистом чате, цифры будут отличаться. Если модель оценивает «до» и «после» правок, видимый прирост — это шум плюс вкусы конкретной модели.
Боль знакомая: правишь текст, просишь оценить заново, получаешь «6 → 8» и считаешь, что стало лучше. Но та же модель в другой попытке могла бы поставить и 7, и 5. А другая модель на тех же правках может поставить ниже, чем до правок. Авторы показали это на реальных данных: одни и те же правки одна модель оценила в плюс, а другая в минус. Причина в том, что модель не «измеряет качество», а генерирует цифру по вероятностному паттерну, а у каждой модели свои предпочтения.
Практический вывод из статьи — три правила. Берите несколько независимых прогонов и усредняйте. Оценку «стало лучше» подтверждайте второй, другой моделью. Если нужна оценка более тонкая, чем целые баллы, просите дробный балл — разброс уменьшится, но шкала сместится.
Схема метода
ШАГ 1: Оцени материал N раз, каждый раз в НОВОМ чате (независимые прогоны) → N баллов
ШАГ 2: Усредни (или возьми медиану) → оценка «ожидаемого балла» судьи
ШАГ 3: Внеси правки → повтори шаги 1–2 для новой версии
ШАГ 4: Прирост = среднее «после» − среднее «до»
ШАГ 5: Повтори шаги 1–4 с ДРУГОЙ моделью-судьёй
ШАГ 6: Прирост подтверждён, только если обе модели видят его в одну сторону
Каждый прогон — отдельный запрос. В одном чате независимых прогонов не получится: модель видит свои прошлые оценки и подстраивается.
Пример применения
Задача: Владелец онлайн-школы на Tilda переписал лендинг курса «Excel для бухгалтеров» и хочет понять, стал ли он лучше. Раньше он просил ChatGPT оценить лендинг один раз до правок и один раз после и ориентировался на разницу.
Промпт (вставляется в новом чате, 5 раз для оригинала и 5 раз для новой версии):
Ты оцениваешь продающий лендинг онлайн-курса для российской аудитории (цена 14 900 ₽, целевая аудитория — бухгалтеры 30–45 лет, продвижение через ВКонтакте и Яндекс Директ).
Оцени по критериям: ясность оффера, доверие (кейсы, отзывы, гарантии), работа с возражениями, призыв к действию.
Выведи итоговый балл от 1 до 10. Балл обязан иметь ненулевую дробную часть (например, 6.4 или 7.8, но не 7.0).
Формат ответа:
1. Оценка по каждому критерию (1–2 предложения)
2. Итоговый балл: X.X
Текст лендинга:
{текст_лендинга}
Протокол: 5 прогонов на старую версию и 5 на новую, каждый в новом чате. Затем те же 10 прогонов в другой модели (например, ChatGPT и Claude). Сравниваются средние.
Результат: Модель в каждом прогоне выдаст разбор по четырём критериям и итоговый дробный балл. Баллы между прогонами будут слегка отличаться. По усреднённым значениям видно, меняется ли оценка в одну сторону у обеих моделей. Если у одной модели прирост есть, а у другой нет или он отрицательный, значит, улучшение, скорее всего, вкусовое, а не общее.
Почему это работает
Слабость LLM. Модель не «знает» оценку, а выбирает число из распределения. Даже при тех же условиях в соседних прогонах выпадает то 7, то 8. Разница между «до» и «после» содержит шум с обеих сторон, поэтому один прогон на версию почти ничего не доказывает. Кроме того, у каждой модели свои предпочтения: они могут одинаково оценивать оригинал, но по-разному реагировать на конкретные правки.
Сильная сторона LLM. Усреднение независимых прогонов хорошо снижает шум: чем больше прогонов, тем точнее оценка «средней» позиции судьи. А если обе модели видят прирост, он с большей вероятностью не вкусовой, а реальный.
Рычаги управления: - Число прогонов → больше нужно, когда различия между версиями малы. Для грубого «хуже/лучше» хватит нескольких. Для тонких различий нужно много. - Шкала → дробный балл снижает разброс, но смещает среднее (в исследовании в большую сторону). Сравнивай только внутри одной шкалы. - Число судей → несколько разных моделей лучше одной: проверка на «вкус». - Независимость → новый чат на каждый прогон. Иначе модель подстраивается под прошлые ответы.
Шаблон промпта
Роль: ты независимый оценщик. Оцени материал строго по критериям ниже, не сравнивая его с другими версиями и не ссылаясь на прошлые оценки.
Контекст: {контекст_и_аудитория}
Критерии:
{критерий_1}
{критерий_2}
{критерий_3}
Выведи итоговый балл от 1 до 10. Балл обязан иметь ненулевую дробную часть (например, 6.4, но не 7.0).
Формат ответа:
1. Оценка по каждому критерию (1–2 предложения)
2. Итоговый балл: X.X
Материал:
{материал}
Что подставлять: {контекст_и_аудитория} — для кого материал и какая цель; {критерий_N} — 3–5 критериев, по которым оцениваешь; {материал} — текст версии. Один шаблон запускай несколько раз в новых чатах и для разных версий, и для разных моделей.
🚀 Быстрый старт — вставь в чат:
Вот шаблон оценки материала с дробным баллом. Адаптируй под мою задачу: {твоя задача — что оцениваю и зачем}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, кто целевая аудитория, какие критерии важны и что считать хорошим результатом. Это нужно, чтобы критерии были конкретными: размытые критерии увеличивают разброс баллов между прогонами. Она возьмёт структуру из шаблона и соберёт готовый промпт под твою задачу.
Ограничения
⚠️ Шум есть всегда: даже при идентичных условиях баллы колеблются. Колебания в основном на один балл, но для близких по качеству материалов этого хватает, чтобы перевернуть порядок.
⚠️ Дробная шкала сдвигает среднее: разброс падает, но средний балл растёт. Сравнивать результаты дробной и целочисленной шкалы нельзя.
⚠️ Прирост одной модели не доказывает улучшение: согласие на оригиналах не гарантирует согласия на правках. Одни и те же правки получили плюс у одной модели и минус у другой.
⚠️ Нужно много прогонов для тонких различий: для точности в четверть балла нужны десятки повторов. Для половины балла достаточно в разы меньше, но всё равно больше одного.
⚠️ Проверено на рецензировании научных статей: это один жанр, и модели судили именно его. Перенос на тексты, лендинги, резюме логичен, но самими авторами не проверялся.
⚠️ Усреднение — не истина: среднее нескольких прогонов оценивает «вкус модели», а не объективное качество. Корреляция с человеческими оценками у моделей умеренная.
Как исследовали
Исследователи взяли 200 статей с конференции ICLR (по 100 за 2025 и 2026 годы), отобрав их так, чтобы были представлены разные темы и разные средние оценки людей. Для каждой статьи они запросили у трёх конфигураций моделей по десять независимых рецензий — всего 6 000 оценок. Затем, добавив эксперименты со шкалой и правками, они довели общее число рецензий примерно до 14 000.
Первый вывод: у большинства статей баллы почти не расходятся (в пределах одного пункта), но полностью одинаковых десяти оценок немного — от трети до половины статей. Для ранжирования это значит, что при одиночном запуске порядок двух статей воспроизводится примерно в 60% случаев, а при усреднении пяти прогонов — в 75–85%. Судя по расчётам авторов, чтобы оценить ожидаемый балл с точностью в полбалла с высокой вероятностью, нужно примерно от 6 до 12 прогонов, а для четверти балла — до 45 (при гарантированной оценке в разы больше).
Второй эксперимент: заставить модель выдавать дробные баллы вместо целых. Разброс уменьшился на 13–16%, но средние оценки выросли (на 0,27 и 0,69 балла в зависимости от модели). То есть шкала меняет не только точность, но и положение.
Самое интересное — третий эксперимент. Одна модель писала правки к статьям, другая или та же решала, какие принять, а затем две модели оценивали получившиеся версии. Одни и те же правки Luna оценила в среднем на +0,47, а Haiku — на −0,35. Смена «отборщика» правок почти не повлияла: решает судья. При этом на оригинальных статьях корреляция оценок двух судей была высокой (0,80), а на приростах падала до 0,4 и даже до 0,09. Часть расхождения объясняется шумом, но даже после поправки на шум согласие на приростах (около 0,5) остаётся заметно ниже, чем на оригиналах (0,84).
Инсайт для практики: согласие моделей на оценке «как есть» не означает согласия на оценке «что стало лучше». Поэтому подтверждать правки нужно несколькими судьями.
Адаптации и экстраполяции
🔧 Техника: убрать дробную шкалу → сравнивать только в целых баллах
Если нужно сравнивать с прошлыми оценками, оставь целые баллы. Замени в шаблоне фразу про дробную часть на «Балл — целое число от 1 до 10». Разброс будет чуть больше, зато шкала не сместится относительно старых данных.
🔧 Техника: добавить второго судью в промпт-цикл
Для цикла «правка → оценка» в чате запускай оценку в двух разных моделях. Правку принимай, только если обе дают прирост в одну сторону.
Экстраполяция (моя идея, в статье не проверялась): правило для агента. В файл инструкций агента (CLAUDE.md, AGENTS.md), который итерационно улучшает текст по оценке LLM, можно добавить:
Правило оценки правок: - Не считай правку улучшением по одной оценке модели. - Для каждой версии запрашивай оценку минимум {N} раз независимо и бери среднее. - Принимай правку, только если прирост подтверждён второй моделью-судьёй. - Если оценки двух судей расходятся по знаку прироста, откати правку и сообщи об этом.Это перенос принципа «не доверяй одному баллу и одному судье» на агентные циклы самоулучшения.
Ресурсы
- Название работы: Can We Believe AI Peer Review?
- Авторы: Zongrui Yang, Haoyuan Li, Zhongsheng Wang, Gillian Dobbie, Jiamou Liu
- Университет: University of Auckland, Окленд, Новая Зеландия
- Отсылки из исследования: ReviewEval (Garg et al., 2025), TitleTrap (Du, 2025), LLM-as-a-Reviewer (Li et al., 2026a), Rhetoric (Li et al., 2026b), G-Eval (Liu et al., 2023), Stureborg et al., 2024, Chiang and Lee, 2023