TL;DR
RGRC — метод создания чек-листа для оценки качества профессиональной работы (отчётов, заключений, аналитики), где критерии берутся не из промпта задачи и не из ответов самой LLM, а из настоящих документов, которые написали практикующие специалисты. Модель анализирует пачку реальных примеров, находит повторяющиеся паттерны качества и превращает их в проверяемый чек-лист с весами.
Если просто спросить LLM «какие критерии качества у хорошего инвестиционного отчёта», она справится неплохо — но только для тех жанров, которые массово представлены в интернете (маркетинговые тексты, типовая документация). А вот для узкоспециализированных задач с неявными, «внутрицеховыми» стандартами (заключение актуария, due diligence отчёт, налоговый меморандум) — модель просто не знает этих скрытых норм, и её чек-лист получается поверхностным. Разница разительная: обычный промпт покрывает такие скрытые стандарты на 78%, а метод на основе реальных документов — на 99%.
Метод в 4 шага: (1) собрать пачку настоящих документов от практиков нужной роли; (2) попросить LLM разобрать каждый документ и выделить паттерны — структуру, глубину анализа, профессиональные конвенции; (3) свести паттерны по всем документам и оставить только те, что повторяются в большинстве («счётчик по частоте», не индивидуальные причуды); (4) превратить это в чек-лист с весами, где каждый критерий — конкретный, проверяемый, без субъективных формулировок типа «глубокий анализ».
Схема метода
ШАГ 1: Собери документы → пачка реальных примеров работы (мин. 3-5 разных авторов/источников)
ШАГ 2: Разбери каждый документ → LLM выделяет структуру, стандарты, что отличает сильную работу от слабой (отдельный анализ на документ)
ШАГ 3: Сведи в общие стандарты → LLM ищет паттерны, повторяющиеся в большинстве документов
ШАГ 4: Синтезируй чек-лист → список конкретных, проверяемых критериев с весами (важные/менее важные) и «стоп-условиями» (за что снимают баллы полностью)
ШАГ 5: Проверь чек-лист → приложи его к реальному сильному документу и к слабому/сгенерированному — если чек-лист не различает их по баллам, критерии слишком общие, вернись к шагу 4
Шаг 1 — сбор материала вручную (найти документы). Шаги 2–5 можно провести последовательно в одном диалоге с LLM.
Пример применения
Задача: Вы руководите небольшой консалтинговой фирмой и хотите оценивать due diligence-отчёты (проверка компании перед сделкой), которые готовят ваши аналитики для клиентов. Задача узкая, стандарты неявные — общий промпт «оцени качество отчёта» тут не сработает.
Промпт:
Я хочу построить чек-лист для оценки качества due diligence отчётов,
которые готовят мои аналитики для клиентов перед сделками M&A.
У меня есть 4 примера реальных due diligence отчётов от разных консалтинговых
компаний (прикладываю ниже / вставлю по одному).
Сделай так:
1. Разбери каждый отчёт отдельно: какая у него структура, какие разделы
обязательны, какая глубина анализа, какие профессиональные приёмы
(например, как оформлены риски, как подтверждаются цифры).
2. После разбора всех отчётов — сведи паттерны: что повторяется в
большинстве отчётов независимо от автора (это и есть настоящий стандарт).
3. Превратые эти паттерны в чек-лист из 15-25 конкретных, проверяемых пунктов.
Каждый пункт — конкретный факт, который можно проверить да/нет, а не
общая фраза типа "анализ глубокий". Дай каждому пункту вес от 1 до 3
(насколько критичен) и отдельно отметь 2-3 "стоп-условия" —
критичные ошибки, которые обесценивают весь отчёт.
4. Проверь свой чек-лист: приложи его к одному из реальных отчётов и
к вымышленному слабому отчёту (напиши его сам как пример халтуры) —
покажи, что баллы заметно отличаются.
[Отчёт 1: вставить текст]
[Отчёт 2: вставить текст]
[Отчёт 3: вставить текст]
[Отчёт 4: вставить текст]
Результат: Модель даст поэтапный разбор — сначала анализ по каждому отчёту, потом сведённые паттерны («в 3 из 4 отчётов раздел с рисками идёт до финансового анализа», «во всех отчётах указан источник каждой цифры»), затем готовый чек-лист с весами и стоп-условиями, и в конце — проверку на двух примерах с баллами, чтобы показать, что чек-лист реально различает хорошую и слабую работу.
Почему это работает
LLM хорошо умеет находить общие паттерны в тексте, но плохо знает неявные профессиональные нормы, которые нигде явно не прописаны — они просто «зашиты» в привычки практиков и передаются внутри профессии. Если спросить модель напрямую, она выдаст общие книжные представления о качестве, усреднённые по интернету.
Зато модель отлично справляется с задачей «сравни несколько текстов и найди, что в них общее» — это её сильная сторона, работа с шаблонами и повторами. Метод использует именно эту способность: вместо того чтобы просить модель «придумать» стандарты, ей дают реальный материал и просят извлечь закономерности из него — а не сгенерировать их из головы.
Рычаги управления: - Количество документов → чем больше и разнообразнее источники (разные авторы, разные компании), тем надёжнее найденные стандарты — минимум 3-4 документа от разных авторов, иначе рискуете скопировать стиль одного человека. - Порог частоты (в оригинале — 60%) → если хотите строгий чек-лист только из железных стандартов, повышайте требование «встречается почти во всех документах»; если нужно шире — снижайте. - Проверочный шаг (приложить к слабому примеру) → не пропускайте, иначе не узнаете, различает ли чек-лист хорошую и плохую работу вообще.
Шаблон промпта
Помоги построить чек-лист качества для оценки {тип документа/работы}.
У меня есть {количество} реальных примеров такой работы от разных
специалистов/компаний. Вставляю их по одному ниже.
Выполни по шагам:
1. Разбери каждый пример отдельно: структура, обязательные разделы,
глубина анализа, профессиональные приёмы, что отличает сильную работу
от слабой.
2. Сведи паттерны по всем примерам — оставь только то, что повторяется
в большинстве, отбрось индивидуальные особенности одного автора.
3. Превратый паттерны в чек-лист из {число} конкретных, проверяемых
пунктов (без общих фраз типа "качественно" или "глубоко"). Дай каждому
пункту вес по важности и отдельно выдели стоп-условия — критичные ошибки.
4. Проверь чек-лист на одном из примеров и на слабой версии (можешь
написать её сам) — покажи разницу в баллах.
[Пример 1]
[Пример 2]
...
Плейсхолдеры: {тип документа/работы} — что оцениваете (отчёт, коммерческое предложение, юридическое заключение), {количество} — сколько примеров вставляете, {число} — желаемый размер чек-листа (15-25 для простых задач, 40+ для сложных многостраничных документов).
🚀 Быстрый старт — вставь в чат:
Вот шаблон построения чек-листа качества из реальных примеров работы (RGRC).
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие именно документы вы можете предоставить и сколько их — потому что без реальных примеров метод не работает, это его ключевое отличие от обычного промпт-инжиниринга.
Ограничения
⚠️ Нужны реальные примеры: без доступа к настоящим документам от практиков метод превращается в обычный промпт-инжиниринг — теряется вся его ценность.
⚠️ Для распространённых жанров выигрыш минимальный: если оцениваете что-то массовое и хорошо представленное в интернете (маркетинговый текст, типовое письмо), обычный промпт справится почти так же хорошо — разница проявляется именно на нишевых, узкопрофессиональных задачах.
⚠️ Нужно минимум 3-4 разных источника: один-два документа дают не стандарт профессии, а стиль конкретного автора — чек-лист выйдет искажённым.
Ресурсы
FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables. Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang — Qwen DianJin Team, Alibaba Cloud Computing.