TL;DR
Исследование показывает, как проверять, можно ли доверить LLM оценку текстов по баллам: сравнить её оценки с оценками людей на своей выборке. Авторы прогнали 761 студенческую работу через три топовые модели, 27 вариантов промпта и три университета. Вывод: хорошо работающая связка «модель + промпт» в одном месте не гарантирует того же результата в другом.
Главная находка: модели сжимают оценки к середине. Слабые работы они завышают, сильные занижают, и в среднем ставят чуть ниже людей. Поэтому «то 62, то 68» вместо честных 45 и 80. Эта ошибка у всех моделей общая. Усреднение трёх моделей её не убирает, и ансамбль почти не лучше лучшей одиночной модели. Лучший промпт и лучшая модель в каждом вузе свои: в Кембридже согласие с людьми на уровне двух живых проверяющих, в двух других вузах заметно хуже.
Метод для практика такой. Не берите чужой промпт или чужой «лучший» результат. Прогоните 3–5 вариантов промпта на небольшой выборке своих работ с известными оценками. Выберите лучший и только потом запускайте на остальном объёме. Если дорого выбирать модель, усредните несколько: это страховка, а не повышение точности.
Схема метода
ШАГ 1: Возьми свои работы с оценками людей → раздели 20% (настройка) / 80% (проверка)
ШАГ 2: Прогони 3–5 вариантов промпта на 20% → сравни ранги и среднюю ошибку
ШАГ 3: Выбери лучший вариант под ЭТУ модель и ЭТУ организацию
ШАГ 4: Проверь на 80%, которые не трогал → посмотри наклон: слабые завышены? сильные занижены?
ШАГ 5: Не знаешь, какая модель лучше → усредни оценки 2–3 моделей (страховка, не улучшение)
Каждый шаг — отдельный запуск. Шаги 2 и 4 можно сделать в таблице, куда вставлены оценки человека и модели.
Пример применения
Задача: Онлайн-школа копирайтинга (формат «Нетологии» или Skillbox) получила 300 домашних работ — продающие тексты для лендинга. Куратор хочет, чтобы LLM ставила предварительные оценки по 100-балльной шкале, а он только перепроверял спорные. 60 работ куратор уже оценил сам.
Промпт (вариант из исследования: полная рубрика, базовые частоты, анти-сжатие, оценка сначала по уровню):
Ты проверяешь домашние работы курса «Копирайтинг для бизнеса».
Шкала 0–100. Допустимые оценки: 30, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90.
КРИТЕРИИ:
- Оффер: ясно, что получает клиент и почему именно у нас (0–30)
- Структура: заголовок → выгоды → доказательства → призыв (0–25)
- Конкретика: цифры, сроки, примеры вместо «лучший», «качественный» (0–25)
- Работа с возражениями (0–20)
РАСПРЕДЕЛЕНИЕ ОЦЕНОК ПРОШЛЫХ ПОТОКОВ:
10% работ — 80 и выше, 45% — 65–79, 35% — 50–64, 10% — ниже 50.
ВАЖНО: языковые модели обычно сжимают оценки к середине.
Слабым работам ставят слишком много, сильным слишком мало.
Не делай так. Если работа слабая — ставь низкую оценку.
Если сильная — ставь высокую. Используй всю шкалу.
Гладкий язык и длина текста не повышают оценку сами по себе.
ПОРЯДОК:
1. Сначала определи уровень: «сильная» (80+), «хорошая» (65–79), «средняя» (50–64) или «слабая» (ниже 50).
2. Затем выбери точную оценку внутри этого уровня.
Ответ — строго в формате:
Уровень: ...
Оценка: ...
Одно предложение — почему.
РАБОТА СТУДЕНТА:
{текст_работы}
Результат: Модель выдаст уровень, число из разрешённого списка и короткое обоснование. Дальше куратор сводит в таблицу оценки модели и свои на тех же 60 работах и смотрит, совпадает ли порядок работ от лучшей к худшей. Потом проверяет, не завышает ли модель слабые тексты. Только после этого он запускает остальные 240.
Почему это работает
Слабость LLM. Модель не знает, как на самом деле оценивают в вашей организации. Одинаковый текст в одном месте получит 70, в другом 60. Оценщику нужны локальные ориентиры, а в весах модели их нет. Поэтому промпт, который хорошо сработал у одного, у другого может просесть. К тому же ошибки трёх разных моделей коррелируют: все тянут оценки к середине. Усреднение гасит случайный шум, но не общий перекос.
Что модель умеет. Она хорошо различает «лучше» и «хуже» внутри одного набора и следует явной структуре: рубрика, список допустимых оценок, порядок шагов. Ей можно дать базовые частоты («10% работ — сильные») и прямую инструкцию не сжимать шкалу.
Как метод обходит слабость. Он не пытается сделать универсальный промпт. Вы проверяете промпт на своей выборке и берёте то, что сработало здесь. Ансамбль нужен как страховка: если не знаешь заранее, какая модель лучше, усреднение даёт почти лучший результат без выбора.
Рычаги: - Рубрика. Без неё, с краткими границами оценок или с полной. Эффект зависит от модели и места, поэтому проверяйте. - Базовые частоты и анти-сжатие. Добавьте их, если слабые работы завышены. Уберите, если шкала растянулась слишком сильно. - Стратегия оценки. Прямая оценка, по критериям или сначала уровень. В исследовании «по критериям» часто выигрывала у Gemini и GPT, а «сначала уровень» у Claude. Это сильно зависит от модели. - Выбор модели. Gemini была самой чувствительной к формулировкам, GPT самой устойчивой. Для чувствительной модели проверка нужна строже.
Шаблон промпта
Тексты промптов авторы вынесли в приложение, в доступной части статьи их нет. Ниже реконструкция по описанию факторов: полная рубрика, базовые частоты, анти-сжатие, оценка сначала по уровню.
Ты проверяешь {тип_работ}.
Шкала {шкала}. Допустимые оценки: {список_оценок}.
КРИТЕРИИ:
{критерий_1} ({баллы})
{критерий_2} ({баллы})
{критерий_3} ({баллы})
РАСПРЕДЕЛЕНИЕ ОЦЕНОК В ПРОШЛОМ:
{доля_сильных}% — {диапазон_сильных}, {доля_средних}% — {диапазон_средних}, {доля_слабых}% — {диапазон_слабых}.
ВАЖНО: языковые модели обычно сжимают оценки к середине.
Не делай так. Используй всю шкалу. Слабое — низко, сильное — высоко.
Гладкость языка и длина — не критерий.
ПОРЯДОК:
1. Определи уровень: {названия_уровней}.
2. Выбери точную оценку внутри уровня.
Ответ: Уровень / Оценка / одно предложение почему.
РАБОТА:
{текст_работы}
Что подставлять:
- {тип_работ} — что вы оцениваете (резюме, домашки, тестовые задания, отклики).
- {список_оценок} — только те оценки, которые реально ставят у вас.
- {критерии} — ваша настоящая рубрика, не придуманная.
- {доли_и_диапазоны} — берите из прошлых оценок. Неверные доли исказят результат, а в исследовании они считались по той же выборке для настройки.
🚀 Быстрый старт — вставь в чат:
Вот шаблон промпта для оценки работ с калибровкой. Адаптируй под мою задачу: [что оцениваю и по какой шкале].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про шкалу, допустимые оценки, критерии и распределение прошлых оценок. Эти данные нужны для настройки: модель не знает, как оценивают у вас, и без них будет угадывать.
Проверочный протокол:
1. Возьми 30–60 работ с оценками людей. Разбей 20% / 80%.
2. Прогони 3–5 вариантов промпта на 20%.
3. Для каждого посмотри: совпадает ли порядок работ (от лучшей к худшей)? Насколько в среднем промахивается? Есть ли смещение вниз?
4. Выбери лучший. Проверь на оставшихся 80%.
5. Нарисуй график: оценка человека по горизонтали, оценка модели по вертикали. Если линия положе диагонали, слабые завышены, сильные занижены.
Ограничения
⚠️ Общая ошибка моделей: все три модели сжимают шкалу к середине. Слабые работы получают больше, чем заслуживают, сильные меньше. Ансамбль это не исправляет: ошибка у моделей общая.
⚠️ Нет универсального промпта: лучший вариант свой для каждой модели и для каждой организации. Промпт «из исследования» или «от коллеги» надо проверять на своей выборке.
⚠️ Согласие умеренное: в двух из трёх вузов согласие с людьми упало к нижней границе того, как согласуются два живых проверяющих. Тексты со ставкой «судьба человека» (экзамен, найм, зачёт) нельзя отдавать модели без проверки человеком.
⚠️ Перекос на язык: по аннотации, оценки моделей сильнее связаны с языковыми признаками текста (гладкость, лексика), чем оценки людей. Это значит, что хорошо написанная, но пустая работа может получить завышенную оценку. Подробности про язык в доступной части текста не разобраны.
⚠️ Самоуверенность модели бесполезна: «уверенность», которую модель сама сообщает вместе с оценкой, авторы признали неинформативной и не использовали.
⚠️ Ограничения исследования: одна дисциплина (психология), три британских вуза, один проход без примеров в промпте. Текст статьи дан неполностью, поэтому разбор промптов по факторам неполон.
Как исследовали
Команда из Кембриджа и других британских вузов собрала 761 настоящую студенческую работу по психологии из трёх университетов: Кембридж, Манчестерский столичный и Ноттингемский. Каждая была оценена преподавателями. Три модели (GPT-5.4, Claude Opus 4.6, Gemini 3 Flash) оценивали все работы за один проход, температура 0, без примеров.
Промпты варьировали по трём осям: рубрика (нет, краткая, полная), калибровка (нет, базовые частоты, частоты плюс анти-сжатие) и стратегия (прямая, по критериям, сначала уровень). Получилось 27 вариантов на модель. Данные поделили 20/80: на 20% подбирали лучший вариант, на 80% проверяли. Ещё сравнивали четыре способа усреднить оценки трёх моделей.
Согласие с людьми сильно зависело от места: лучший результат по QWK (мера согласия оценок) составил 0,62 в Кембридже, 0,42 в Ноттингеме и 0,35 в Манчестере. Лучшая модель менялась от вуза к вузу. Промпт двигал ошибку Gemini на 3,3 балла (RMSE от 8,6 до 11,9), у GPT всего на 0,7. То есть чувствительность к формулировке зависела от модели. Ансамбль оказался статистически неотличим от лучшей одиночной модели: разница в QWK около нуля. Все три модели занижали оценки в среднем на 1–4 балла.
Удивило то, что взаимодействия «модель × промпт» оказались не слабее, а часто сильнее, чем сам эффект промпта. Для практика это означает: нельзя перенести «лучший промпт» между моделями. И ансамбль не лечит общий перекос, а только страхует выбор.
Адаптации и экстраполяции
🔧 Техника: добавить в промпт «не поощряй гладкость» → уменьшить перекос на язык
В шаблоне выше есть строка «Гладкость языка и длина — не критерий». Авторы отметили, что модели сильнее людей вознаграждают языковые признаки, но саму эту строку отдельно не проверяли. Считайте её гипотезой: проверьте на своей калибровочной выборке, снизилась ли оценка гладким, но пустым работам.
Экстраполяция на любые LLM-судьи (оценка резюме, ответов поддержки, черновиков): тот же протокол. Возьмите 30–50 образцов с оценками человека, прогоните 3 варианта промпта, сравните порядок и смещение. Только потом отдавайте модели весь поток. Это перенос принципа, в самом исследовании проверены только студенческие работы.
Ресурсы
- Machine–human agreement in marking undergraduate assignments is specific to model, prompt and institution
- Авторы: Giulio Corsi, Maryam Abo-Tabik, Yael Benn, Georgiana Thorpe Apreutesei, Roni Tibon, Alexandru Marcoci, Deborah Talmi
- Университеты: Cambridge, Lancashire, Manchester Metropolitan, Nottingham
- Код: https://github.com/giuliocorsi/machine-human-marking-agreement
- Данные: https://zenodo.org/records/21676733