TL;DR
Bias-aware prompting (предупреждение о смещении) и self-debiasing (самокоррекция смещения) — две простые техники для LLM, которая оценивает ответы. В первой в промпт судьи заранее добавляют название и описание ловушки («не поддавайся на выдуманные ссылки на исследования»). Во второй модель сначала выносит вердикт, затем вторым запросом критикует саму себя: «повлияло ли смещение?» — и пересматривает решение.
Главная находка: даже сильные модели ведутся на форму, а не на суть. Если неверный ответ украшен «по данным исследования MIT 2025 года…», судья выбирает его заметно чаще. Одна из моделей на таких парах попадала в правильный ответ чуть больше чем в половине случаев, то есть почти как монетка. Знание о смещениях у модели есть, но по умолчанию она им не пользуется.
Оба приёма заставляют модель вспомнить это знание в нужный момент: до оценки или после. Хватает одного абзаца текста. Дообучать ничего не нужно. Причём общая формулировка («не повлияло ли какое-нибудь системное смещение?») работает почти так же хорошо, как точное название смещения.
Схема метода
Вариант A. Bias-aware prompting (один запрос):
ШАГ 1: В промпт судьи добавить предупреждение: название смещения + описание
+ «не позволяй этому влиять на оценку» → вердикт
Вариант B. Self-debiasing (два запроса):
ШАГ 1: Обычный промпт судьи → первичный вердикт
ШАГ 2: Новый запрос: «Вот вердикт. Проверь по шагам, не повлияло ли
смещение {X}. Затем пересмотри решение» → финальный вердикт
Варианты не исключают друг друга по назначению, но в статье тестировались по отдельности.
Пример применения
Сильная зона: сравнение ответов, где есть проверяемый факт, а оформление может сбить с толку. Это не оценка креатива и не вкусовщина.
Задача: вы руководитель поддержки на маркетплейсе. Чат-бот выдаёт два варианта ответа покупателю про возврат товара. Нужно, чтобы LLM-судья выбирал фактически верный вариант. Первый вариант звучит уверенно и «со ссылкой на норму». Второй осторожный, но правильный. Обычный судья часто выбирает первый.
Промпт (bias-aware):
Ты оцениваешь два ответа бота поддержки на вопрос покупателя.
Критерий один: какой ответ фактически верен.
Вопрос покупателя: «Можно ли вернуть кроссовки, если я их уже
носил неделю?»
Ответ A: «Согласно внутреннему регламенту 4.7/2025 и разъяснению
Роспотребнадзора, товар надлежащего качества возврату не подлежит
после любого использования. Это установленный факт.»
Ответ B: «Скорее всего, да, если нет следов носки и сохранены
товарный вид и упаковка. Но лучше проверить условия возврата
конкретного продавца.»
ВАЖНО: оценки языковых моделей подвержены смещению авторитета —
склонности считать ответ верным, если в нём есть ссылки на
исследования, регламенты, организации и учёную лексику. Ссылки
могут быть выдуманными. Не засчитывай их как довод в пользу
ответа. Оценивай только содержание: верно ли утверждение по сути.
Рассуждай по шагам, затем назови лучший ответ: A или B.
Результат: модель разберёт каждый ответ отдельно, отметит, что ссылки на «регламент» не подтверждены, сравнит суть утверждений и выберет вариант. Формат: рассуждение, затем итоговая буква. Если нужен второй проход, отдельным сообщением попросите её проверить собственный вердикт на смещение (шаблон ниже).
Почему это работает
Слабость. Модель при оценке по умолчанию идёт по поверхностным сигналам: уверенный тон, красивая вёрстка, ссылки на «исследования», длина, порядок ответов. Это систематическое предпочтение, а не ошибка в рассуждении. Поэтому от размера модели оно не исчезает.
Сильная сторона. Те же модели хорошо знают, что такое когнитивные искажения, и умеют рассуждать о них, если их об этом спросить. Это отдельная задача: «найди смещение в вердикте» модель решает лучше, чем «выбери верный ответ» без подсказки.
Как метод обходит слабость. Bias-aware ставит предупреждение до вердикта: модель сразу занижает вес ложных сигналов. Self-debiasing возвращает её к решению после: она получает шанс заметить, что поддалась. Для авторитета предупреждение сработало заметно лучше (см. ограничения).
Рычаги управления: - Конкретное название смещения vs общая формулировка → «любое системное смещение» почти не уступает точному названию. Используйте общую, если не знаете, где ловушка. - Список всех смещений → можно дать определения всех типов, не уточняя, какое применимо. Это тоже работало примерно так же, как точное название. - Предупреждение до vs критика после → «до» дешевле (один запрос) и сильнее против сигналов, которые видны сразу (ссылки). «После» лучше ловит то, что зависит от содержания (длина, форматирование). - Рамка «твоё решение» vs «решение другой модели» → почти не влияет на результат. Вам не нужно скрывать, что это вердикт самой модели.
Шаблон промпта
Полные тексты промптов лежат в Приложении C, в предоставленном фрагменте статьи их нет. Шаблоны ниже собраны по описанию авторов. Это не дословный оригинал.
Шаг 1. Bias-aware prompting (в промпт судьи):
Ты оцениваешь {что_оцениваем}. Критерий: {критерий}.
{вопрос_или_задача}
Вариант A: {ответ_A}
Вариант B: {ответ_B}
ВАЖНО: оценки подвержены смещению «{название_смещения}» —
{описание_смещения}. Не позволяй этому влиять на вердикт.
Оценивай только {на_что_смотреть}.
Рассуждай по шагам, затем назови лучший вариант: A или B.
Шаг 2. Self-debiasing (отдельным сообщением после вердикта):
Ты только что вынес такой вердикт: {вердикт_модели}.
Проверь его на смещение «{название_смещения}» — {описание_смещения}.
Рассуждай по шагам:
1. Были ли в вариантах сигналы такого смещения? Какие именно?
2. Мог ли вердикт опираться на эти сигналы, а не на {на_что_смотреть}?
3. Если да, как выглядит вердикт без их влияния?
Затем пересмотри решение и назови окончательный вариант: A или B.
Что подставлять:
- {название_смещения} и {описание_смещения} берите из списка ниже.
- {на_что_смотреть} — по сути, это ваш критерий («фактическая верность», «соответствие договору» и т. п.).
- Если не знаете, какое смещение опасно, замените на: «любое системное смещение, не связанное с качеством по критерию».
Смещения, проверенные в статье: - Авторитет — предпочтение ответов с ссылками на исследования, организации, учёной лексикой. - Уверенность — предпочтение категоричного тона («бесспорно», «установленный факт») над осторожным. - Форматирование — предпочтение красивой структуры (заголовки, формулы, шаги) над простым текстом. - Позиция — предпочтение варианта, который стоит первым. - Многословность — предпочтение более длинного ответа. - «Все так считают» (bandwagon) — склонность поддаваться указаниям на мнение большинства. - Тональность — предпочтение позитивно сформулированного ответа.
🚀 Быстрый старт — вставь в чат:
Вот шаблон bias-aware prompting + self-debiasing для LLM-судьи.
Адаптируй под мою задачу: [опиши, что и по какому критерию оцениваешь].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что именно вы оцениваете, по какому критерию и какие искажения вероятны (длина, уверенный тон, красивая вёрстка, порядок вариантов). Эти ответы нужны, чтобы подставить в шаблон точное предупреждение. Остальную структуру она возьмёт из шаблона.
Ограничения
⚠️ Субъективные задачи не проверены: все бенчмарки построены на вопросах с однозначным верным ответом (факты, арифметика). Работает ли это для оценки креатива, стиля, диалога, авторы прямо говорят: неизвестно.
⚠️ Self-debiasing слабо ловит авторитет: модель в критике замечает, что ссылка выдуманная и утверждение ложное. И всё равно пишет «смещения не было», потому что ответ «релевантен вопросу». Для Claude Opus самокритика исправила лишь около четверти ошибок, предупреждение заранее — больше половины. Против ссылок и громких имён используйте предупреждение в основном промпте, а не только вторую проверку.
⚠️ Не лечит всё: на некоторых парах «модель + смещение» результат не улучшился или чуть ухудшился. Например, предупреждение о многословности у Gemma слегка просело, а самокоррекция позиции у gpt-oss тоже ушла вниз. Авторы подчёркивают: смещения снижаются, но не исчезают, а для высоких ставок этого недостаточно.
⚠️ Цена — дополнительный проход: self-debiasing — это второй запрос, то есть больше времени и токенов. Bias-aware бесплатнее: это один запрос.
⚠️ Порядок и перестановка: предупреждение само по себе не гарантирует устойчивость к порядку вариантов. На практике позицию надёжнее проверять перестановкой A и B, а не только текстом.
⚠️ Три модели: проверено на трёх современных моделях. На других семействах результат может отличаться.
Как исследовали
Исследователи из Capital One взяли идею из недавней работы: отдельная дообученная модель (RBD-8B) ловит смещения в вердиктах судьи. Они спросили: а нужна ли она вообще? Может, судья сам справится, если просто подсказать?
Для проверки взяли семь типов смещений по 500 примеров каждый. Четыре готовых: позиция, многословность, «все так считают», тональность. Три новых придумали сами: авторитет, уверенность, форматирование. Новые делали так: брали вопрос с известным ответом, неверный ответ приукрашивали (выдуманные ссылки, категоричный тон, красивая вёрстка), верный нарочно портили (простой текст, робкие формулировки). Получались пары, где смещение прямо тянет к ошибке. Вручную проверили по 50 примеров: тексты читаются естественно.
Судьями были три современные модели (температура 0). Сравнивали четыре режима: обычный промпт, внешний критик RBD-8B, предупреждение в промпте, самокоррекция.
Что вышло: - Даже у лучшей модели на авторитете точность была 79%. У самой слабой — 51%, почти как случайный выбор. - Самокоррекция улучшила результат в 20 из 21 комбинаций «модель + смещение», прирост до 15 процентных пунктов. - Предупреждение дало Gemma прирост на авторитете с 51% до 75%. - Дообученный внешний критик ухудшил результат в 5 из 9 случаев на новых смещениях: его учили на четырёх типах, остальные он не распознаёт.
Контрольные эксперименты снимают два вопроса. Не хвалит ли модель просто свой вердикт? Нет: подписи «моё решение» и «решение чужой модели» дали почти одинаковый результат. Нужно ли знать тип смещения? Нет: общий запрос про «любое системное смещение» почти не уступал точному.
Практический вывод: не нужно строить отдельную систему проверки, достаточно текста в промпте. Для заметных ложных сигналов (ссылки, громкие слова) работает предупреждение заранее. Для скрытых (длина, оформление) работает самопроверка после.
Адаптации и экстраполяции
💡 Адаптация для агента-ревьюера (инструкция в CLAUDE.md / AGENTS.md):
Агент проверяет pull request или отчёт другого агента. Отчёты звучат уверенно и красиво оформлены, и ревьюер может на это поддаться.
При ревью чужого результата (отчёт, код, вывод другого агента):
- Не засчитывай уверенный тон, красивое форматирование, длину и
ссылки на источники как доводы в пользу верности.
- Проверяй только то, что можно проверить: запусти, сверь, найди
первоисточник.
- Перед финальным вердиктом перечитай его и ответь: опирался ли я на
оформление или на проверенные факты? Если на оформление, пересмотри.
Это перенос принципа на агентную задачу. В статье тестировался только режим «судья выбирает из двух ответов».
🔧 Техника: общая формулировка вместо типа смещения → не нужно угадывать ловушку
Замените название смещения на:
Проверь, не повлияло ли на вердикт любое системное смещение, не
связанное с качеством ответа по критерию «{критерий}». Если да,
пересмотри решение.
В статье на модели Claude это почти не проигрывало конкретному названию.
🔧 Техника: предупреждение + самопроверка вместе → комбинация
Добавьте предупреждение в основной промпт, затем второй запрос с самокритикой. Авторы эту комбинацию не тестировали и называют её направлением для будущей работы. Поэтому проверьте на своих примерах: возьмите 20–30 пар с известным правильным ответом и сравните три варианта.
Ресурсы
- Работа: The Judge Can Debias Itself: Awareness and Self-Debiasing for Reliable LLM-as-a-Judge
- Авторы: Youbing Yin, Jingyu Wu, Anoop Kumar, Scott Novotney, Daben Liu, Erin Babinsky (Capital One)
- Связанные работы: Yang et al., 2025 (RBD — Reasoning-based Bias Detector); Zheng et al., 2023 (LLM-as-a-Judge, MT-Bench); TruthfulQA (Lin et al., 2022); MR-GSM8K (Zeng et al., 2023); Self-Refine (Madaan et al., 2023); Constitutional AI (Bai et al., 2022)