TL;DR
Если просить LLM оценить текст по шкале, она систематически завышает баллы: почти всё получает «выше среднего». Лечится это дописанной в промпт инструкцией о строгости: «ты Area Chair (председатель секции, принимающий итоговое решение), при сомнении выбирай оценку ниже». Это сдвигает средний уровень оценок к человеческому. Второй приём: показать модели эталонное распределение баллов («обычно у нас ставят 4–6») и велеть снизить предварительный балл. Он выравнивает среднее ещё точнее.
Главный инсайт в том, что уровень оценки и порядок работ — разные вещи. Модель может ставить «правильные» в среднем баллы и всё равно плохо отличать сильную работу от слабой. Строгая инструкция сдвигает шкалу вниз, но не делает модель лучшим судьёй: порядок «лучше → хуже» остаётся почти таким же слабым. Приём с эталонными баллами и «снизь на единицу» ещё и ухудшил порядок: модель механически сдвигает оценки и хуже различает работы. Смена тона («будь критичным», «ты эксперт в области», «будь конструктивным») на порядок почти не влияет.
Метод простой: добавь в промпт оценки правило строгости (вариант 1) или предварительный балл + обязательное снижение по эталонному распределению (вариант 2). Потом сверь на 20–30 работах с человеческими оценками, сдвинулся ли уровень. Для отбора «лучших из пачки» не полагайся только на абсолютные баллы.
Схема метода
ВАРИАНТ 1 (правило строгости), один промпт:
Роль: человек, принимающий итоговое решение
+ правило: «при сомнении выбирай более низкую оценку»
→ балл ближе к человеческому уровню, порядок почти не меняется
ВАРИАНТ 2 (якоря + снижение), один промпт:
ШАГ 1: модель формирует предварительный балл
ШАГ 2: сверяет с эталонным распределением баллов
ШАГ 3: снижает: обычно на ~1, до 2 при заметных слабостях
→ среднее почти совпадает с человеческим, но порядок работ ухудшается
ПРОВЕРКА (отдельно, руками):
среднее | средняя ошибка по каждой работе | порядок (кто выше кого)
Пример применения
Задача: Вы оцениваете 150 заявок в акселератор (формат ФРИИ или грантов Сколково). Нужно быстро отсеять слабые, порог — «7 из 10 и выше идут на интервью». ChatGPT почти всем ставит 7–9, и порог ничего не фильтрует.
Промпт:
Ты — председатель экспертной комиссии акселератора. Тебе нужно вынести
итоговое решение по каждой заявке. Комиссия отбирает селективно:
к интервью проходит не больше 20% заявок.
Оцени заявку по шкале 1–10 по критериям: размер рынка, команда,
решение, тракшн, экономика юнита.
Правила выставления балла:
- Если сомневаешься между двумя оценками, выбирай более низкую.
- Балл 7 и выше ставь только если все критерии подтверждены цифрами
из заявки, а не заявлены словами.
Формат ответа:
1. Краткое обоснование по каждому критерию (1–2 предложения)
2. Итоговый балл: X/10
Заявка:
{текст_заявки}
Результат: Модель выдаст построчный разбор по пяти критериям и итоговый балл. Распределение баллов должно сместиться вниз и стать ближе к человеческому. Но сама заявка-«звезда» не обязательно окажется выше заявки-«середняка» точнее, чем раньше. Поэтому финальный список из верхней части стоит просмотреть глазами.
Почему это работает
Слабость модели. LLM склонна ставить высокие оценки: так сложилось из-за обучения на человеческих предпочтениях. Любую рубрику она заполняет «вежливо». Высказанное в промпте «будь критичным» помогает только частично: в исследовании такой вариант снизил завышение примерно вдвое, но не убрал.
Сильная сторона. Модель хорошо выполняет явные правила выставления числа. Если сказать, как переводить разбор в балл («при сомнении — ниже», «снизь на единицу»), она ведёт себя иначе, чем при общей просьбе «будь строже». Правило, а не тон, меняет итоговую цифру.
Как метод обходит слабость. Он чинит уровень, то есть шкалу, и не трогает различение: умение сказать, что работа А сильнее Б. Различение зависит от понимания содержания, а не от того, как переводить мнение в цифру. Хорошо, что эти вещи разделяются: можно настроить шкалу промптом и отдельно решать вопрос порядка.
Рычаги управления: - «При сомнении ниже» → сильнее/слабее. Добавь порог: «7+ только при подтверждении цифрами», чтобы ужесточить верх шкалы. - Величина снижения в варианте 2 («~1, до 2 при слабостях») → подбирай по своим данным, пока среднее модели не совпадёт с твоим. - Эталонное распределение → без него сдвиг превращается в слепое вычитание. С ним модель понимает, где «норма». - Роль → одна лишь смена тона («критик», «эксперт») почти не меняет порядок. Не трать на неё усилия.
Шаблон промпта
Вариант 1: правило строгости (в исследовании — Area Chair guidance, V4):
Ты — {роль_принимающего_решение}. Тебе нужно вынести итоговое решение
по каждой работе. {организация} отбирает селективно: {доля_принятых}
работ проходит дальше.
Оцени работу по шкале {шкала} по критериям: {критерии}.
Правила выставления балла:
- Если сомневаешься между двумя оценками, выбирай более низкую.
- {дополнительное_условие_для_верха_шкалы}
Формат ответа:
1. Краткое обоснование по каждому критерию
2. Итоговый балл: X
Работа:
{текст_работы}
Вариант 2: эталонное распределение + снижение (в исследовании V5, с оговоркой: порядок ухудшился):
Ты — {роль}. Оцени работу по шкале {шкала} по критериям: {критерии}.
Справка о том, как обычно оценивают такие работы у нас:
{эталонное_распределение_баллов}
Процедура выставления балла:
1. Сформируй предварительный балл по критериям.
2. Сравни его со справкой выше.
3. Как правило, снизь предварительный балл примерно на {сдвиг}.
Если в работе есть заметные слабости, снизь до {макс_сдвиг}.
4. Выведи итоговый балл после снижения.
Работа:
{текст_работы}
Что подставлять: {шкала} и {критерии} — ваши. {доля_принятых} — реальная селективность (например, «не более 20%»). {эталонное_распределение_баллов} — реальные цифры по вашим прошлым оценкам, например «средний балл 5,1; баллы 8+ получают менее 5% работ». {сдвиг} — примерно «на 1 балл» по исследованию, но подберите под свою шкалу.
Ограничения
⚠️ Порядок работ не улучшается: Правило строгости сдвигает уровень баллов, но способность отличать сильное от слабого почти не растёт. Корреляция с человеческим порядком остаётся слабой во всех вариантах.
⚠️ «Снизь на единицу» вредит порядку: Вариант с эталонным распределением дал самое точное среднее, но худшее ранжирование из всех проверенных. Не используй его, если главная цель — выбрать лучших.
⚠️ Пакеты инструкций, не отдельные фразы: Каждый из двух вариантов менял сразу несколько инструкций. Нельзя сказать, какая именно фраза даёт эффект.
⚠️ Одна модель для сравнения промптов: Промпты сравнивали на DeepSeek-V3.2. Другие модели в базовом режиме завышали по-разному, но работа правил на них не проверялась.
⚠️ Одна область: Всё проверено на рецензиях машинного обучения. Перенос на заявки, резюме или тексты — ваша гипотеза, её нужно проверить на своей выборке.
⚠️ Домены различаются: Даже после выравнивания среднего модель в одних темах занижала, в других завышала. Единая поправка на всё не подходит.
⚠️ Оформление влияет на оценку: Длинные названия связаны с большим завышением, плотность формул — с меньшим. Это статистические связи, не причинность, но следи, не оценивает ли модель обёртку.
⚠️ Человеческий эталон шумный: Сами рецензенты согласуются друг с другом не идеально. «Разошлась с людьми» не всегда значит «ошиблась».
Как исследовали
Исследователи взяли 7083 публичные заявки на конференцию ICLR 2024 с 3–5 человеческими рецензиями у каждой. Сравнивали четыре современные модели (GPT-5 mini, Gemini 3 Flash, Claude Sonnet 4.5, DeepSeek-V3.2) при обычном промпте-рецензенте. Затем на DeepSeek прогнали десять вариантов промпта: пять накопительных (форма → правила рецензента → этика → установка Area Chair → исторические баллы и снижение) и пять вариантов тона (критичный, конструктивный, эксперт, быстрый, стандартный).
Ключевая идея дизайна: три разные метрики вместо одной. Среднее расхождение (завышает ли модель в целом), средняя ошибка по каждой работе и ранговая корреляция (совпадает ли порядок). Они двигаются независимо, поэтому одна метрика «согласия с людьми» вводит в заблуждение. Расхождение в базовом режиме составило около полутора баллов из десяти. Установка Area Chair снизила его до 0,2, а ошибку по работе — с 1,58 до 0,94. Корреляция порядка при этом осталась почти той же (0,38 → 0,39).
Удивило то, что вариант с историческими баллами дал почти нулевой сдвиг среднего (0,05), но худшую корреляцию (0,32). Лучшую корреляцию (0,42) показал обычный «стандартный» промпт без всякой строгости. Дополнительно авторы показали, что расхождение между ИИ и отдельным рецензентом заметно больше, чем между двумя рецензентами. Они проверили темы (после выравнивания среднего различия остались) и признаки текста через причинно-статистическую модель.
Адаптации и экстраполяции
🔧 Техника: убрать вывод только числа → видеть, где модель завышает
Попроси сначала балл по каждому критерию с цитатой-доказательством из текста, и только потом итог. Так видно, какой критерий модель «дарит» без оснований, и правило «7+ только при цифрах» можно привязать к конкретным критериям.
Ниже идея не из статьи, а моя экстраполяция.
Если важен порядок, а не уровень, не полагайся на абсолютные баллы одного промпта. Раздели задачи: баллы нужны для порога, а отбор лучших делай отдельным шагом.
Вот три заявки, которые получили 7+ баллов: {заявка_1}, {заявка_2}, {заявка_3}.
Расставь их по месту от сильной к слабой и коротко объясни,
почему каждая выше следующей.
Эта связка отделяет «калибровку шкалы» от «выбора лучшего». Проверять её на своих данных придётся самому.
Ресурсы
- Название: Interpreting LLM Scores in Peer Review: Alignment and Divergence Across Prompts, Domains, and Manuscript Features
- Авторы: Wenqiang Qin, Renlong Jie, Yanjun Qian, Salma Srifi (School of Management, Northwestern Polytechnical University, Сиань, Китай)
- Данные: публичные рецензии ICLR 2024 на OpenReview
- Опорные работы: Drori & Te'eni (2024), накопительные инструкции GPT-4 для рецензирования; Kane (2013), аргументный подход к валидации оценок; Bland & Altman (1986), различие согласия и корреляции