TL;DR
GPT-4o-mini со структурой обыграл GPT-5 без структуры — по всем шести оцениваемым параметрам. Исследование сравнивает два подхода к одной задаче: "просто умная модель" против "меньшая модель, завёрнутая в структуру". Структура побеждает с разгромным счётом. Это ломает главный миф: "возьму модель подороже — получу результат получше".
Проблема голого запроса выглядит так: вы просите ChatGPT оценить бизнес-план, получаете красивый текст, который сложно проверить и воспроизвести. Завтра спрашиваете то же самое — получаете другой ответ. Нет фиксированных критериев, нет самопроверки, нет чёткого "да/нет". Модель флюентна (говорит гладко), но ненадёжна (каждый раз по-другому).
Исследование выделяет 7 паттернов — приёмов как структурировать взаимодействие с LLM, чтобы она давала воспроизводимые, проверяемые результаты. Несколько из них напрямую переводятся в технику промптинга для обычного чата: LLM-as-judge с retry (сгенерировать → оценить → улучшить), deterministic core + LLM narration (считай по формуле, объясняй словами), schema-typed output (всегда структурированный вывод), filter-first (сначала жёсткие правила, потом семантический ранк).
Схема метода
Исследование описывает систему (требует кода), но внутри — принципы, которые работают в чате. Вот 4 паттерна, применимые без программирования:
ПАТТЕРН P2 — Структурированный вывод
Промпт: Отвечай строго в формате: [поле 1] / [поле 2] / [поле 3]
Зачем: предсказуемый, сканируемый, сравнимый результат
ПАТТЕРН P3 — LLM-as-judge с retry (в одном промпте)
ШАГ 1: Сгенерируй {результат}
ШАГ 2: Оцени результат по критериям. Каждый критерий: 0-1. Итог: сумма.
ШАГ 3: Если итог < {порог} → улучши и повтори оценку. Если ≥ {порог} → выведи финал.
СТОП: максимум {N} итераций
ПАТТЕРН P5 — Детерминированное ядро + нарратив LLM
ШАГ 1: Подсчитай оценку по формуле: {формула с весами}
ШАГ 2: На основе числа определи уровень: {порог 1} = низкий, {порог 2} = средний...
ШАГ 3: Теперь объясни результат своими словами — учитывай только уже посчитанные числа
ПАТТЕРН P7 — Роутинг намерений
ШАГ 0: Определи тип запроса: {тип А} / {тип Б} / {тип В}
→ Если тип А: применяй инструкцию А
→ Если тип Б: применяй инструкцию Б
Все паттерны работают в одном промпте — без кода, без API.
Пример применения
Задача: Максим хочет отправить питч-письмо потенциальному инвестору на Сколково Форуме. Текст уже написан, но хочет убедиться — он достаточно сильный.
Промпт (паттерн P3 — LLM-as-judge + retry):
Ты — жёсткий инвестиционный аналитик из венчурного фонда.
Вот питч-письмо:
"""
{вставь текст письма}
"""
ШАГ 1 — ОЦЕНКА.
Оцени письмо по 5 критериям. Каждый критерий — балл от 0 до 1:
- Ясность проблемы (0-1)
- Убедительность решения (0-1)
- Конкретика: цифры, факты, метрики (0-1)
- Чёткий призыв к действию (0-1)
- Отсутствие воды и общих слов (0-1)
Итоговый балл = сумма всех оценок.
Выведи: каждый критерий с оценкой и одним предложением обоснования.
ШАГ 2 — РЕШЕНИЕ.
Если итоговый балл < 3.5 → перепиши письмо, устрани слабые места,
затем снова оцени переписанную версию по тем же критериям.
Если итоговый балл ≥ 3.5 → выведи финальный текст письма.
Максимум 2 итерации. После второй — выведи лучшую версию,
даже если балл не достиг 3.5.
Результат:
Модель покажет оценку каждого критерия с обоснованием и итоговый балл. Если письмо слабое — сразу предложит переработанную версию и оценит её снова. Если балл набран — выдаст финальный текст с пометкой, что он прошёл внутренний порог качества. Читатель видит рассуждение, а не просто "вот текст".
Почему это работает
LLM в "голом" режиме — это fluent bullshitter (говорит красиво, не гарантирует правильно). Когда просишь "напиши хорошо" — она напишет. Когда просишь "напиши хорошо и объясни почему" — напишет лучше. Когда просишь "напиши, оцени по критериям, улучши если плохо" — происходит самопроверка, которой не было.
Модель умеет хорошо следовать инструкциям с явной структурой. Если написать "применяй критерий X к результату Y, если ≥ порог — стоп, иначе — retry" — она будет следовать этой логике гораздо точнее, чем расплывчатому "сделай хорошо". Структура убирает двусмысленность: модель не гадает что вы хотите, она знает точно.
Главный инсайт: надёжность приходит не от размера модели, а от архитектуры взаимодействия. Маленькая модель с чёткими критериями, структурированным выводом и петлёй самопроверки стабильно обыгрывает большую модель без структуры по параметрам воспроизводимости, объяснимости, соответствия ограничениям. Это означает: если вы работаете с Claude Haiku или GPT-4o-mini — хорошая структура промпта важнее, чем платить за GPT-4o или Opus.
Рычаги управления: - Порог качества (3.5 из 5) — снизь для быстрых задач, подними для критичных - Количество итераций — 1 для скорости, 3 для качества - Критерии оценки — заменяй под свой домен: "юридическая точность", "читаемость", "соответствие брифу" - Убери "выведи финальный текст без объяснений" → получишь весь процесс рассуждений на экране
Шаблон промпта
Ты — {роль эксперта}.
Вот {объект оценки}:
"""
{контент}
"""
ШАГ 1 — ОЦЕНКА.
Оцени по {N} критериям. Каждый критерий: 0-1:
- {критерий_1} (0-1)
- {критерий_2} (0-1)
- {критерий_3} (0-1)
Итоговый балл = сумма.
Выведи каждый критерий с баллом и одним предложением обоснования.
ШАГ 2 — РЕШЕНИЕ.
Если итоговый балл < {порог} → {действие при низком балле: улучши / перепиши / расширь},
затем снова оцени по тем же критериям.
Если итоговый балл ≥ {порог} → выведи финальный {тип результата}.
Максимум {число_итераций} итераций.
После последней — выведи лучшую версию в любом случае.
Что подставлять:
- {роль эксперта} — редактор, аналитик, юрист, инвестор — кто релевантен задаче
- {объект оценки} — текст, план, резюме, бриф
- {критерии} — 3-5 штук, конкретные и измеримые
- {порог} — 60-80% от максимума (например, 3.5 из 5 или 7 из 10)
- {число_итераций} — 2-3 для большинства задач
🚀 Быстрый старт — вставь в чат:
Вот шаблон LLM-as-judge с retry. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит: какой объект оцениваем, кто роль эксперта, по каким критериям, какой порог качества — потому что без этих данных паттерн не запустится. Она возьмёт структуру из шаблона и заполнит под твою задачу.
Ограничения
⚠️ Субъективные критерии: Паттерн P5 (детерминированное ядро) работает только если критерии измеримы — "читаемость текста" сложнее формализовать чем "количество слов > 500". Для чисто субъективных оценок структура помогает меньше.
⚠️ Эффект судьи и исполнителя: Когда одна и та же модель генерирует и оценивает, она склонна хвалить собственный вывод. Авторы работы сами предупреждают об этом. Чтобы снизить эффект — давай критериям конкретные определения или проси оценить от лица конкретного скептика.
⚠️ Сложные задачи с распределённым состоянием: Паттерны из исследования были частью системы с памятью и базой данных. В обычном чате без сохранения истории "аудит-трейл" и "персистентность" не работают — каждый новый диалог начинается с нуля.
⚠️ Маленькая выборка рейтинга: 10 оценщиков — это мало. Один из них оказался выбросом с противоположными оценками. Авторы честно об этом говорят, но кейс единственный.
Как исследовали
Исследователи поставили себе заведомо невыгодный эксперимент: маленькая модель с архитектурой против большой модели без архитектуры. Если бы архитектура не помогала — большая модель должна была выиграть хотя бы за счёт сырой мощности. Не выиграла.
Конкретно: систему с GPT-4o-mini (меньше, дешевле) обернули в семь модулей со структурированным вводом-выводом, самопроверкой дорожной карты, детерминированной формулой оценки риска и человеческими точками подтверждения. Поставили напротив GPT-5 (больше, дороже) без всего этого — просто чат. Оба системы решали одинаковые задачи про научное руководство студентами: подобрать научного руководителя, оценить прогресс-репорт, построить дорожную карту исследования.
Десять независимых оценщиков смотрели на оба системы вслепую (не знали что есть что) и ставили баллы по шести параметрам. Итог: 4.08 vs 1.23 из 5 в пользу маленькой модели с архитектурой. Затем авторы прогнали 2×2 ablation — поменяли модели местами между системами. Вывод подтвердился: архитектура даёт прибавку больше, чем смена модели. ASuS с GPT-5 набрал 4.80, ASuS с GPT-4o-mini — 4.07. Разница от смены модели внутри архитектуры: +0.73. Разница от наличия/отсутствия архитектуры при одной модели: в 2-3 раза. Архитектура важнее.
Адаптации и экстраполяции
🔧 Паттерн P5 в чистом виде: детерминированный счётчик + объяснение
Авторы используют это для оценки риска студента: сначала фиксированная формула с весами, потом LLM объясняет что это значит. Применение в работе с текстами — например, SEO-оценка статьи:
Отдельный запрос на "посчитай по формуле":
Оцени статью по формуле:
- Вхождение ключевого слова в заголовок: 1 балл
- Вхождение в первые 100 слов: 1 балл
- Длина статьи > 800 слов: 1 балл
- Наличие подзаголовков H2: 1 балл
- Наличие списков: 1 балл
Итоговый балл: сумма. Уровень: 0-2 = низкий, 3-4 = средний, 5 = высокий.
Вот статья: {текст}
Сначала выведи только числа по каждому критерию и итог.
Потом — одним абзацем объясни что это значит для продвижения.
Принцип: LLM не принимает решение сама — она считает по вашим правилам, потом объясняет. Вы контролируете логику, она контролирует нарратив.
🔧 Паттерн P7: роутинг намерений как первый шаг любого сложного промпта
Авторы используют роутинг чтобы направлять запросы в нужный модуль. В чате — это "сначала классифицируй, потом действуй":
Перед ответом определи тип запроса:
- Тип А (фактический вопрос) → отвечай кратко, с источником
- Тип Б (аналитический запрос) → структурируй ответ по пунктам
- Тип В (задача на генерацию) → уточни ТЗ перед тем как писать
Вопрос: {запрос пользователя}
Работает особенно хорошо в начале длинного системного промпта — до всех инструкций, не после.
Ресурсы
Название: Harnessing LLMs for Reliable Academic Supervision: A Comparative Study
Автор: Akash Raj, M.Tech, School of Artificial Intelligence and Data Science, IIT Jodhpur
ORCID: 0009-0005-5666-3967, m25ai1116@iitj.ac.in
Ключевые работы, на которые ссылаются авторы: - Lewis et al. 2020 — Retrieval-Augmented Generation (RAG) - Zheng et al. 2023 — LLM-as-Judge - Wei et al. 2022 — Chain-of-Thought prompting - Yao et al. 2022 — ReAct (reasoning + acting) - Shinn et al. 2023 — Reflexion (self-correction) - LangChain / LangGraph 2024 — оркестрация агентов