TL;DR
Когда просишь LLM оценить что-то субъективное — тон текста, безопасность контента, качество ответа для конкретной аудитории — явная инструкция "рассуждай перед ответом" часто ухудшает точность, а не улучшает. Модель тащит в оценку математический стиль рассуждения ("это правильно, потому что..."), а субъективные задачи такого единственно верного пути мысли не имеют.
Исследователи проверили это на реальных задачах модерации Netflix (проверка чувствительности запросов, качества ответов) и обнаружили: если заставить LLM рассуждать через разные "личности" (персоны), точность оценки скачет почти в два раза между худшей и лучшей персоной. То есть большая часть того, что выглядит как "ошибка модели", на самом деле — несовпадение стиля рассуждения с характером задачи. Модель не ошибается в фактах — она рассуждает не той "головой".
Решение простое: не полагаться на дефолтный стиль рассуждения модели. Для субъективной оценки нужно явно задавать роль, соответствующую контексту задачи (не абстрактного "эксперта", а конкретного персонажа с понятным взглядом на вещи), и при важных задачах — тестировать несколько ролей, чтобы найти ту, что даёт стабильно точный результат.
Схема метода
ШАГ 1: Задай LLM субъективную оценочную задачу БЕЗ явного рассуждения
→ прямой ответ (базовый результат)
ШАГ 2: Задай ту же задачу С явным рассуждением через КОНКРЕТНУЮ персону
(не "эксперт", а живая роль с характером)
→ ответ с объяснением
ШАГ 3: Сравни оба результата. Если нужна точность — протестируй
2-3 разные персоны на одной задаче, выбери самую точную
Все три шага можно делать в одном чате, отдельными запросами.
Пример применения
Задача: SMM-менеджер бренда одежды в VK хочет проверить, не звучит ли шутка в рекламном посте слишком дерзко или обидно для аудитории 18-25 лет.
Промпт (шаг 1, без персоны):
Оцени, подходит ли этот текст для рекламного поста бренда одежды
в VK, ориентированного на аудиторию 18-25 лет. Ответь только:
"да" или "нет".
Текст: "Носи то, что бесит твою бывшую училку по этикету"
Промпт (шаг 2, с персоной):
Ты — модератор соцсетей бренда, тебе 24 года, ты сам активно
читаешь мемные паблики и понимаешь молодёжный юмор, но следишь,
чтобы бренд не выглядел токсичным.
Оцени с точки зрения этого модератора: подходит ли текст для
рекламного поста? Сначала кратко объясни ход мысли, потом дай
ответ "да" или "нет".
Текст: "Носи то, что бесит твою бывшую училку по этикету"
Результат: В первом случае модель даст сухой бинарный ответ без объяснений — быстро, но без учёта нюансов аудитории. Во втором — модель распишет рассуждение с точки зрения персонажа-модератора: почему шутка норм или почему она рискует задеть кого-то. Если протестировать третью персону (например, "консервативный бренд-менеджер"), ответ может кардинально измениться — это и есть сигнал, что персона решает больше, чем сам факт наличия рассуждения.
Почему это работает
LLM обучены рассуждать в основном на математике и коде — там есть единственно верный путь к ответу, и модель заучила этот стиль: строгая логика, шаг за шагом, к одному правильному выводу. Субъективные задачи такого пути не имеют — правильность зависит от аудитории, контекста, culture fit. Когда модель применяет математический стиль рассуждения к оценке шутки или тона, она ищет "доказательство", хотя доказывать там нечего — и начинает додумывать несуществующие правила, что вносит шум.
При этом LLM отлично умеет симулировать разные точки зрения — заявленная роль реально меняет то, на какие детали модель обращает внимание и как формулирует вывод. Это её сильная сторона.
Метод использует это: вместо одного "универсального рассуждающего", ты явно выбираешь роль, чей взгляд на мир похож на взгляд твоей реальной аудитории или экспертной группы. Рычаг управления здесь — конкретность персоны. "Эксперт по маркетингу" почти не меняет поведение модели. "24-летний модератор, который сидит в мемных пабликах, но следит за репутацией бренда" — меняет сильно, потому что даёт модели конкретный характер для симуляции.
Шаблон промпта
Ты — {конкретная персона с понятным характером и позицией:
например, "строгий редактор глянцевого журнала" или "мама
двух подростков, которая читает всё, что видят её дети"}.
Оцени с точки зрения этой персоны: {твоя субъективная задача
оценки}.
Сначала кратко опиши ход мысли этой персоны, потом дай
итоговый ответ: {формат ответа — да/нет, оценка от 1 до 5 и т.д.}
{контент для оценки}
Если результат кажется нестабильным или сомнительным — повтори с другой персоной и сравни.
🚀 Быстрый старт — вставь в чат:
Вот шаблон Persona Routing для субъективной оценки. Адаптируй
под мою задачу: {твоя задача, например "оценка тона комментариев
для модерации паблика"}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какая аудитория и какой контекст важен для оценки — потому что без конкретной персоны с понятной позицией метод не сработает, а без описания аудитории модель не сможет подобрать подходящую роль.
Ограничения
⚠️ Предварительные результаты: авторы сами называют персона-роутинг "первым шагом", не готовым решением. Нет автоматического способа понять заранее, какая персона подойдёт — нужно тестировать вручную.
⚠️ Не для объективных задач: если у задачи есть чёткий правильный ответ (факт, расчёт, код) — этот метод не нужен, там явное рассуждение по-прежнему работает хорошо.
⚠️ Персона может внести искажение: выбор "неправильной" или стереотипной персоны может дать предвзятый результат — при оценке чувствительного контента (модерация, безопасность) нужен человеческий контроль результата, а не слепое доверие любой персоне.
⚠️ Данные закрытые: абсолютные цифры получены на внутренних рубриках Netflix — сама величина эффекта может отличаться в других доменах, но направление находки (стиль рассуждения решает точность) вероятно универсально.
Как исследовали
Команда из Duke University и Netflix взяла четыре реальных задачи модерации из продакшена Netflix — проверка чувствительности запросов, оценка качества ответов и т.д. — где правильный ответ определяют живые люди-асессоры, а не формула.
Сначала проверили: помогает ли явное рассуждение (CoT) в этих задачах на топовых моделях (проприетарных и open-source). Оказалось — часто вредит, причём и у слабых, и у сильных моделей в рассуждениях математики.
Дальше попробовали "подкрутить" модель через RLVR (метод обучения с подкреплением, который отлично работает в математике и коде) — и получили противоположный эффект: модель начала сокращать рассуждение до нуля, потому что угадывать напрямую было выгоднее по вознаграждению, чем реально думать. Авторы назвали это "reasoning collapse". Чтобы это остановить, придумали хитрую систему вознаграждения — бонус за длину рассуждения давать только если ответ правильный — и это восстановило и даже улучшило точность.
Финальный эксперимент — самый интересный для практики: сгенерировали 1500 разных "персон" (характеров) и заставили модель рассуждать от лица каждой при оценке одной и той же задачи. Разброс точности между худшей и лучшей персоной оказался огромным — почти двукратным. Это и натолкнуло на главный практический вывод: то, что выглядит как "ошибка модели" в субъективной оценке — часто просто неподходящая роль рассуждения.
Ресурсы
LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing — Juncheng Dong (Duke University), Ding Tong, Ishan Gupta, Yuyan Wang (Netflix). RecSys '26.