TL;DR
RE-ZS-CoT (Role-Enhanced Zero-Shot Chain-of-Thought) — это промпт из двух частей: роль-эксперт, подходящая к типу задачи, и фраза «думай по шагам». Всё идёт одним запросом, без примеров. Роль можно задать самому (математик для расчётов) или попросить модель выбрать её из списка. Авторы проверили, куда ставить роль: до вопроса, после или с обеих сторон.
Главная находка: «ты эксперт» не работает как универсальная добавка. На расчётных и школьных задачах с несколькими шагами точность часто растёт. На задачах «на здравый смысл» та же схема иногда сильно ухудшает ответ. Роли не по теме (поэт, комик, политик) снижали качество почти у всех моделей. Лучшего места для роли в промпте не нашли: победитель зависит от модели и задачи.
Метод простой: роль, совпадающая с типом задачи + «рассуждай по шагам» + чёткий формат финального ответа. Если не уверен в роли, спроси у самой модели, какая подойдёт больше всего. Результат всё равно проверяй на своих примерах, потому что выигрыш нестабилен.
Схема метода
ВАРИАНТ A (статичная роль, один промпт):
Роль под тип задачи + задача + «рассуждай по шагам» → ответ
ВАРИАНТ B (динамическая роль, два запроса):
ШАГ 1: «Какая ОДНА роль лучше всего подходит для такой задачи?» → название роли
ШАГ 2: Роль + задача + «рассуждай по шагам» → ответ
Положение роли (проверь, какое лучше у твоей модели):
R→Q роль до вопроса
Q→R роль после вопроса
R→Q→R роль до и после (разделённая фраза)
Пример применения
Задача: Селлер на Wildberries считает юнит-экономику. Нужно понять, сколько он заработает с одной единицы и при какой цене выйдет в ноль. Это расчёт в несколько шагов. Здесь метод работает лучше всего: роль «математик» и пошаговое решение.
Промпт:
Ты — математик. Решай задачу по шагам, каждый шаг проверяй.
Задача: Селлер закупает кроссовки за 450 ₽ и продаёт на Wildberries за 1 200 ₽.
Комиссия маркетплейса — 19% от цены. Логистика — 65 ₽ за единицу.
Реклама — 8% от цены. Налог — 6% от цены.
1) Сколько чистой прибыли с одной единицы?
2) При какой цене продажи прибыль станет нулевой, если остальные условия не меняются?
Рассуждай по шагам. В конце напиши отдельной строкой: «Ответ: …» — по одному числу на каждый пункт.
Результат: Модель покажет расчёт по шагам: комиссия, реклама и налог в рублях, затем сумма расходов и прибыль. Для второго пункта она составит уравнение и решит его. В конце будет строка «Ответ: …» с двумя числами, которую легко проверить на калькуляторе.
Почему это работает
Слабость. Если просто спросить «сколько заработаю?», модель может выдать число сразу, без промежуточных расчётов. В многошаговых задачах так легко ошибиться. Универсальное «ты крутой эксперт» тоже мало что даёт: оно не подсказывает, какой именно способ рассуждения нужен.
Сильная сторона. Модель хорошо подстраивает стиль и порядок рассуждений под роль. «Математик» тянет её к формулам, проверке шагов и аккуратным вычислениям. Фраза «по шагам» заставляет выписать промежуточные результаты. Роль задаёт манеру решения, а «по шагам» — форму.
Как метод обходит слабость. Роль подбирается под задачу, поэтому подсказка попадает в цель. Неподходящая роль (поэт, комик) тянет стиль в сторону от точных расчётов, и качество падает. Это подтвердили эксперименты.
Рычаги управления: - Роль — меняй под тип задачи. В статье были математик, физик, врач, учёный, специалист по грамотности, инженер, разработчик и «эрудит» (polymath). - Позиция роли — попробуй три варианта: до вопроса, после, с обеих сторон. Универсального победителя нет. - Формат ответа — «в конце напиши строкой "Ответ: …"». Авторы искали ответ в тексте автоматически, и чёткая строка упрощает проверку. - Выбор роли — если сомневаешься, спроси модель. Статичный и динамичный выбор в целом давали сходную картину, где роль помогает и где нет.
Шаблон промпта
Вариант A — роль задаёшь сам (роль до вопроса):
Ты — {роль}. Решай задачу по шагам.
{задача}
Рассуждай по шагам. В конце напиши отдельной строкой: «Ответ: …».
Вариант A2 — роль после вопроса:
{задача}
Ты — {роль}. Рассуждай по шагам. В конце напиши отдельной строкой: «Ответ: …».
Вариант A3 — разделённая фраза (роль до и после):
Ты — {роль}.
{задача}
Как {роль}, рассуждай по шагам. В конце напиши отдельной строкой: «Ответ: …».
Вариант B — модель сама выбирает роль (два запроса):
Запрос 1:
Вот описание типа задач: {описание_задач}.
Какая ОДНА роль-эксперт лучше всего подходит, чтобы решать такие задачи?
Ответь только названием роли.
Запрос 2: возьми название и подставь в вариант A.
Что подставлять:
- {роль} — эксперт, совпадающий с типом задачи: математик, инженер, врач и так далее.
- {задача} — полный текст задачи с цифрами.
- {описание_задач} — одна фраза о типе задач, например «расчёты юнит-экономики» или «вопросы по прочитанному тексту».
Авторы просили каждую модель выбрать роль 100 раз и брали самую частую. В чате достаточно 3–5 раз: возьми роль, которая повторяется чаще. Это моя упрощённая версия.
Ограничения
⚠️ Нестабильный эффект: Метод превосходит лучшую из двух базовых схем («без ничего» и «по шагам») примерно в двух третях случаев. В остальных случаях он не помогает или вредит. Универсальным улучшением его считать нельзя.
⚠️ Вопросы на здравый смысл: На OpenBookQA и StrategyQA результаты смешанные. У некоторых моделей точность падала на десятки процентных пунктов. Авторы подозревают, что виновата сама фраза «по шагам»: она и раньше работала нестабильно на таких задачах.
⚠️ Нерелевантные роли вредят: Поэт, комик, политик снижали точность почти у всех протестированных моделей. Роль, которая «звучит интересно», но не связана с задачей, — антипаттерн.
⚠️ Неочевидное место роли: Универсально лучшего положения роли нет. Для одной задачи лучше «до вопроса», для другой «разделённая». Придётся пробовать на своих примерах.
⚠️ Старые и маленькие модели: Тестировали GPT-4.1, GPT-4o и open-weight модели 2–14 млрд параметров. Современных reasoning-моделей, которые рассуждают сами, в проверке нет. Для них эффект может быть слабее.
⚠️ Гигантские приросты вводят в заблуждение: Самый большой выигрыш (44 пункта) — у модели, чей базовый результат на этой задаче был необычно низким (около 23%). Вероятно, дело в том, что она плохо держала формат ответа. У сильных моделей выигрыш против лучшего базового варианта — единицы процентов.
Как исследовали
Команда взяла 20 моделей (пять от OpenAI и пятнадцать открытых размером от 2 до 14 млрд параметров) и семь тестов: школьная арифметика (GSM8K, AQuA-RAT), здравый смысл (OpenBookQA, StrategyQA) и понимание прочитанного (RACE, TriviaQA). Сравнивали с двумя базовыми вариантами: вопрос «как есть» и вопрос с «Let's think step by step». Первый тест — статичные роли: восемь экспертов из списка. Чтобы не гонять все роли на каждой модели, модели сами выбирали роль: 100 запросов, брали самую частую. Для дорогих моделей OpenAI сначала прогнали все роли на GPT-4o-mini и выбрали лучшую. Второй тест — динамический: модель придумывала роль сама, без списка. Отдельно проверили три «странные» роли (поэт, комик, политик) на шести моделях и трёх тестах. Ещё сравнили три положения роли. Результат такой: статичные и динамические роли показывали сходную картину, то есть где первые помогали, там и вторые. Странные роли почти везде ухудшали результат. Универсального положения роли нет. Самое практичное: роль выбираешь по задаче, а удачу метода проверяешь на своих данных, потому что у нескольких моделей на здравом смысле точность проваливалась.
Адаптации и экстраполяции
🔧 Техника: добавь проверку на 10 примерах → узнаешь, помогает ли роль именно тебе
Чтобы не гадать, возьми 10 своих задач с известными ответами. Прогони три варианта: без роли, роль до вопроса, роль после. Выбери тот, что даёт больше правильных. Эта проверка — моя адаптация, в статье её нет. Но она следует из главного вывода: эффект зависит от модели и задачи.
Ресурсы
- A Large-Scale Evaluation of Role-Enhanced Zero-Shot Chain-of-Thought Prompting
- Авторы: Ibrahim Khan, Thai Van Nguyen, Yi Xia, Pratch Suntichaikul, Mustafa Can Gursesli, Daniel Fernandez Galeote, Juho Hamari, Ruck Thawonmas
- Университеты: Ritsumeikan University (Япония), Tampere University (Финляндия)
- Связанные работы, на которые опирается статья: zero-shot-CoT («Let's think step by step»), ролевые подсказки для рассуждений, исследования о социальных ролях в системных промптах.