TL;DR
Одни и те же диалоги репетитора с учеником получили 42% успеха при проверке «ответ совпал дословно» и 81% при проверке LLM-судьёй. Диалоги не менялись, менялась только линейка. Разрыв больше, чем эффект от смены модели, стратегии обучения и подсказок вместе взятых. Судья засчитывает понимание, даже если ответ записан другими словами. Строгое сравнение строк его не видит.
Боль знакомая. Вы правите промпт, меняете модель и смотрите на «+3%», а выбор способа проверки двигает цифру на 39 процентных пунктов. Вывод «промпт А лучше Б» часто оказывается свойством линейки, а не промпта. Вторая находка: маленьким моделям (7–14 млрд параметров) дали верный диагноз ошибки ученика, а потом намеренно подменили его неверным. Результат почти не изменился. Они не использовали то, что им вручили.
Метод простой: оценивай одни и те же ответы несколькими критериями. Бери нескольких судей из разных семейств моделей (разные компании). Сверяй их с небольшой выборкой, которую оценил человек. Если судьи сходятся между собой и с человеком, цифре можно верить.
Схема метода
ШАГ 1: Собрать набор одинаковых диалогов/ответов → фиксируем, не меняем
ШАГ 2: Оценить их жёстким критерием (точное совпадение) → нижняя граница
ШАГ 3: Оценить их LLM-судьёй (принимает перефразировки, смотрит на рассуждение) → верхняя граница
ШАГ 4: Повторить ШАГ 3 у 2–3 судей из разных семейств моделей → отдельные чаты, один промпт судьи
ШАГ 5: Сверить спорные случаи с человеком → выборка 20–50 штук
ШАГ 6: Сравнивать варианты промптов только внутри одного критерия → не смешивать линейки
Шаги 3–4 делаются в обычных чатах. Для шага 2 нужен простой поиск строки или поиск глазами.
Пример применения
Задача: Онлайн-школа подготовки к ЕГЭ по профильной математике запускает бота-репетитора. Команда прогнала 30 пробных диалогов, где «ученик» делает типичную ошибку. Ошибка такая: при решении уравнения со степенью он делит обе части на выражение, которое может быть нулём, и теряет корень. После диалога ученику дают новую похожую задачу. Нужно понять, справился ли бот, а не сколько раз ученик написал ровно «x = 2; x = -2».
Промпт (для судьи, одинаковый в ChatGPT, Claude и Gemini):
Ты — проверяющий по профильной математике ЕГЭ.
Ниже диалог репетитора с учеником и итоговое решение ученика
на новой задаче.
Контекст:
- Типичная ошибка ученика: делит обе части уравнения на выражение,
которое может равняться нулю, и теряет корень.
- Верный ответ на проверочную задачу: x = 0 и x = 3.
Что считать успехом:
- Ученик получил верный итоговый ответ (формулировка может быть любой:
«ноль и три», «x=0, x=3», «корни 0 и 3»).
- ИЛИ в решении видно, что он уже не делит на выражение с возможным нулём
и проверяет этот случай отдельно.
Что НЕ считать успехом:
- Верный ответ угадан без рассуждения.
- Ответ неполный (потерян один из корней).
Диалог:
{диалог}
Решение ученика на новой задаче:
{решение_ученика}
Ответь строго в формате:
Вердикт: ДА / НЕТ
Причина: одна фраза
Результат: Каждый чат вернёт короткий вердикт и причину по каждому диалогу. Вы получите три колонки «ДА/НЕТ» от трёх судей. Поиск строки «0 и 3» отметит как провал ответы вроде «ноль и три». Судьи их засчитают. Разногласия между судьями и редкие спорные случаи вы просмотрите вручную. В итоге у вас будет цифра успеха, которой можно доверять, и список диалогов, где бот реально не помог.
Почему это работает
Слабость. Проверка «совпало ли слово в слово» измеряет форму записи, а не понимание. «Ноль и три», «x=0, x=3» и «корни 0 и 3» для строки разные ответы. В исследовании около трёх четвертей разрыва дало признание перефразировок и рассуждения. Ещё четверть дала хрупкость сравнения строк.
Сильная сторона LLM. Модель хорошо читает смысл: видит, что ответ записан иначе, и замечает в рассуждении, что ученик уже не делает прежнюю ошибку. Но у судьи тоже есть слабость: он может быть мягким и благоволить ответам своего семейства. Поэтому нужны судьи из разных компаний и выборка с оценкой человека.
Как метод это использует. Жёсткий критерий даёт нижнюю границу. Судья даёт верхнюю. Если несколько независимых судей сходятся (в исследовании они уложились в несколько пунктов друг от друга), цифра перестаёт быть «мнением одной модели». Человеческая сверка закрепляет якорь.
Рычаги управления: - Число судей: для быстрой оценки хватит двух из разных компаний, для важного решения берите три и голосуйте большинством. - Строгость критерия в промпте: добавьте «верный ответ без рассуждения не засчитывать», чтобы убрать угадывание. - Формат вердикта: «ДА/НЕТ + причина» удобно считать. Шкалу 1–5 добавляйте, только если нужна градация. - Размер человеческой выборки: возьмите 20–50 диалогов, особенно из тех, где судьи расходятся.
Шаблон промпта
Ты — проверяющий по теме «{тема}».
Ниже ответ/диалог и эталонная информация. Оцени, достигнута ли цель.
Цель: {что_должно_получиться}
Эталон: {правильный_ответ_или_критерии}
Засчитывай как успех:
- {допустимые_формулировки_и_перефразировки}
- ИЛИ {признак_понимания_в_рассуждении}
НЕ засчитывай:
- {угадывание_без_рассуждения}
- {неполный_ответ}
Материал для проверки:
{диалог_или_ответ}
Ответь строго в формате:
Вердикт: ДА / НЕТ
Причина: одна фраза
Что подставлять:
- {тема} — область: математика, юриспруденция, поддержка клиентов.
- {что_должно_получиться} — измеримая цель, например «ученик правильно решил новую задачу».
- {правильный_ответ_или_критерии} — эталонный ответ или список признаков хорошего ответа.
- Остальное — ваши допустимые варианты и антикритерии.
Порядок использования: вставьте промпт в 2–3 чата разных компаний (например, ChatGPT, Claude, Gemini), прогоните одни и те же материалы, сравните вердикты.
Ограничения
⚠️ Симулированные ученики: Ученика играла LLM, а не живой человек. Результаты не доказывают, что реальные школьники стали учиться лучше. Авторы это прямо оговаривают.
⚠️ Малые модели-репетиторы: Тьюторами были открытые модели на 7–14 млрд параметров. Что «диагноз ошибки не влияет на результат» у крупных современных моделей, исследование не показывает. Результат относится к тому формату, в котором диагноз подавали.
⚠️ Судья тоже может ошибаться: Судьи ощутимо отличаются друг от друга (в среднем 75–81%). Один судья без сверки с человеком может завысить цифру.
⚠️ Узкая область: Только алгебра и школьные заблуждения. Перенос на другие задачи логичен, но не проверен.
⚠️ Эффект диагноза не исключён совсем: Малый эффект (около 5 пунктов) исследование не могло надёжно поймать. Вывод звучит как «нет заметного эффекта», а не «эффекта нет».
⚠️ Контекст диалога иногда вредит: При определении, есть ли ошибка, полная история диалога на сбалансированных данных ухудшила результат у всех моделей. Улучшение на «перекошенных» данных оказалось смещением к ответу «неправильно», а не умением различать.
Как исследовали
Исследователи взяли пять открытых моделей-репетиторов и 106 сценариев на 55 типичных алгебраических заблуждений. Для каждого сценария «ученика» играла GPT-5-mini. Репетитор вёл пять реплик, потом ученик решал новую проверочную задачу. Это и есть «успех исправления». Получилось 2250 диалогов в основном эксперименте.
Идея была в том, чтобы не менять диалоги и менять только линейку. Один и тот же набор оценили тремя способами: точное совпадение, извлечение числа с допуском и LLM-судья. Результат: 42% против 46% против 81%. Затем судей перепроверили: четыре модели из трёх компаний сошлись в пределах нескольких пунктов, а с 200 человеческими оценками совпали на чистых случаях (κ 0.79–0.91, это мера согласия: 1 значит полное совпадение). Это снимает подозрение, что судья просто «добрый».
Любопытно, что смена стратегии обучения (Сократ, контрпример, аналогия и другие) почти ничего не меняла: все пять уложились в 7 пунктов. Подсказка диагноза тоже. В отдельном эксперименте репетитору давали верный диагноз, подменённый неверный (того же типа) или не давали вовсе. Результаты были 77–81% и статистически неразличимы. Три независимых судьи показали ту же картину. Практический вывод: прежде чем радоваться, что вы «накормили» модель умной подсказкой, проверьте, меняется ли результат без неё или с неверной.
Адаптации и экстраполяции
🔧 Техника: подменяем кусок контекста → проверяем, читает ли его модель
Хотите понять, действительно ли ваш длинный промпт или инструкция используется? Прогоните задачу три раза: с настоящим контекстом, с подменённым (правдоподобным, но неверным) и без него. Если результат не отличается, этот блок промпта лишний или подан неудачно.
Вариант А: [реальный контекст клиента] + задача Вариант Б: [контекст другого клиента] + задача Вариант В: только задачаЕсли ответы Б и В не хуже А, модель не использует контекст, и стоит поменять его подачу или убрать.
Экстраполяция: два критерия на одном наборе ответов для оценки текстов поддержки.
Критерий 1 (жёсткий): в ответе есть пункты {пункт_1}, {пункт_2}, {пункт_3} слово в слово. Критерий 2 (смысловой): ответ по смыслу решает проблему клиента. Посчитай долю «да» по каждому критерию и покажи, где они расходятся.Расхождение подскажет, что вы проверяете: шаблонность или реальную помощь клиенту.
Ресурсы
- MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
- Авторы: Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin-Xia Huang
- Организации: ETRI (Electronics and Telecommunications Research Institute) и University of Science and Technology, Республика Корея
- Использованные наборы: Math Misconceptions Benchmark (Otero et al., 2025), MathDial, Bridge, BEA 2025 Shared Task
- Связанные работы: Zheng et al., 2023 (LLM-as-judge), MathTutorBench (Macina et al., 2025)