TL;DR
Авторы 44 научных статей ранжировали три варианта отзыва от ИИ на собственные работы: одиночный запрос к одной модели, перекрёстный аудит двух разных моделей, которые критиковали бумагу и аргументы друг друга, и мультиагентный воркшоп из нескольких специализированных агентов. Несмотря на то что сложные системы тратили в 30 раз больше токенов, люди устойчиво выбирали простой одиночный запрос.
Интуитивно кажется: больше AI-итераций → лучше результат. Но оказалось иначе. Авторы предпочли простой одиночный запрос в 32 из 44 случаев против более сложной системы. Это контринтуитивная находка — многие пользователи усложняют цепочки запросов, строят многоагентные схемы, гоняют текст по нескольким моделям. Исследование показывает: для задач обратной связи это не помогает.
Главный практический вывод — два инсайта. Первый: для получения хорошей обратной связи достаточно одного хорошо сформулированного запроса к сильной модели. Второй — и более важный: AI-модели плохо оценивают качество AI-обратной связи. Когда авторы предпочитали простой запрос, AI-судьи ставили на первое место сложный воркшоп — прямо противоположный результат. Нельзя доверять AI оценивать качество AI-ответов на субъективные задачи.
Схема метода
Это не новый промпт-метод, а исследовательская находка с двумя практическими выводами:
ВЫВОД 1: Одиночный запрос ≥ Мультиагентные системы
(для задач обратной связи на готовые работы/тексты)
ВЫВОД 2: AI-судья ≠ Человек
AI-оценка того, какой AI-ответ лучше → не совпадает с тем, что
реально полезно человеку
ПРАКТИКА:
Хочу обратную связь → один хорошо сформулированный запрос
Хочу оценить два AI-ответа → оцениваю сам, не делегирую AI
Один запрос — один диалог в чате. Отдельных шагов не требует.
Пример применения
Задача: Ты написал питч-документ для инвесторов под новый медиапроект — например, подкаст про технологический бизнес в духе «Цифры». Нужна честная обратная связь перед встречей с фондом.
Промпт:
Прочитай этот питч-документ как опытный венчурный инвестор, который
видел сотни заявок и умеет находить слабые места до того, как их
найдут на питч-сессии.
Дай структурированную обратную связь:
— Краткое резюме: что ты понял про проект (1-2 абзаца)
— Главные замечания: 3-5 серьёзных проблем, которые остановят инвестора
— Мелкие замечания: что можно улучшить быстро
— Общая оценка: одним параграфом — берёшь или нет, и почему
Будь прямым. Если идея слабая в каком-то месте — скажи прямо,
не смягчай. Мне важно знать что исправить до встречи, а не
чувствовать себя хорошо.
[Вставь текст питча]
Результат: Модель даст структурированный отзыв в четырёх блоках. Блок с главными замечаниями будет конкретным — не «нужно доработать рынок», а «вы не показали почему именно 2% рынка, откуда цифра». Финальная оценка — прямая, с позицией. Это ровно то, что нужно до питча.
Почему это работает
LLM не становится умнее от повторных итераций, когда базовая модель уже достаточно сильная. Мультиагентные дебаты помогали в 2023–2024 году, когда модели были слабее и перекрёстная проверка ловила реальные ошибки. Сейчас граница мощности сместилась — один хороший запрос даёт сопоставимый или лучший результат.
AI-модели оценивают тексты по другим критериям, чем человек. Модели как судьи предпочитали более подробные, структурированные, «академически правильные» ответы. Реальные авторы предпочитали конкретные, применимые комментарии — даже если они короче. Когда ты просишь AI оценить два варианта ответа и выбрать лучший, ты получаешь AI-вкус, не свой.
Рычаги управления одиночным запросом:
- Роль (опытный инвестор, редактор The Bell, жёсткий научный рецензент) → задаёт угол критики
- Тон (будь прямым, не смягчай) → убирает вежливые отговорки
- Структура вывода (краткое резюме / главное / мелкое / вердикт) → держит фокус
- Контекст применения (перед питчем, перед отправкой редактору) → меняет что модель считает важным
Шаблон промпта
Прочитай {тип_документа} как {роль_эксперта}, который {что умеет эксперт}.
Дай структурированную обратную связь:
— Резюме: что ты понял про {предмет документа} (1-2 абзаца)
— Главные замечания: {N} серьёзных проблем, которые {что они делают}
— Мелкие замечания: что можно улучшить быстро
— Общая оценка: {критерий оценки} одним параграфом
{инструкция тона}
{текст или описание}
Плейсхолдеры:
- {тип_документа} — питч, статья, коммерческое предложение, резюме, план проекта
- {роль_эксперта} — инвестор, редактор, нанимающий менеджер, клиент
- {что умеет эксперт} — 1 фраза, почему именно эта роль видит слабые места
- {N} — 3–5 для большинства задач
- {критерий оценки} — берёшь/не берёшь, публикуешь/нет, нанимаешь/нет
- {инструкция тона} — «будь прямым», «скажи честно если слабо», «не хвали просто так»
🚀 Быстрый старт — вставь в чат:
Вот шаблон одиночного запроса на обратную связь.
Адаптируй под мою задачу: [опиши что хочешь проверить].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит тип документа, нужного эксперта и критерий оценки — потому что без этих деталей роль и тон будут размытыми, а значит критика получится обобщённой.
Ограничения
⚠️ Домен: Исследование проводилось на экономических мета-анализах — жанре с чёткими методологическими стандартами. Для более субъективных задач (оценка креатива, художественные тексты) выводы могут не воспроизводиться так же чисто.
⚠️ Граница полезности: Авторы оценивали обратную связь на уже принятых статьях — ретроспективно. Для рукописей в работе картина может отличаться.
⚠️ Конфигурация мультиагента: Мультиагентный воркшоп запускали в облегчённом режиме — полный был слишком дорогой для 55 запусков. Возможно, полная версия дала бы другой результат.
⚠️ AI-судья как сигнал: Три AI-модели-судьи почти всегда ставили реальный отзыв журнального рецензента последним — хотя авторы, которые его помнили, ставили его первым. Это сильный аргумент против использования AI для оценки субъективного качества.
Как исследовали
Идея была рискованной для самих исследователей — они хотели доказать что их собственные инструменты (мультиагентные системы) лучше простого запроса. Поэтому заранее зарегистрировали гипотезу на OSF: ожидали что хотя бы один из их инструментов обойдёт одиночный запрос.
Взяли 55 экономических мета-анализов, сгенерировали три варианта обратной связи на каждую работу — одиночный запрос (Claude Opus 4.8), кросс-модельный аудит (~6 вызовов моделей) и воркшоп агентов (~10 вызовов). Все три варианта нормализовали до одинаковой длины и убрали маркеры инструментов — авторы видели только «Отзыв А, Б, В» в случайном порядке.
Попросили авторов самих работ ранжировать: какой отзыв полезнее для улучшения текста. Ответили 44 из 55 бумаг — 80%, причём незнакомые внешние авторы отвечали немного чаще (82%), чем собственные соавторы (78%). Любопытный факт: несколько авторов написали что потратили реальные усилия на чтение — то есть воспринимали задачу серьёзно.
Разрыв оказался устойчивым и статистически значимым: одиночный запрос выигрывал в 32 из 44 случаев. Вероятность получить такой результат случайно — около 0,3%. Параллельно попросили три AI-модели ранжировать те же отзывы. Внешняя модель (Gemini, не писавшая ни один из отзывов) поставила бы мультиагентный воркшоп первым — прямо противоположно людям.
Оригинал из исследования (ключевые цитаты)
Из описания дизайна — что авторам предстояло сделать:
"The papers' authors ranked three AI reports on their own paper by usefulness for improving it: a single pass by a frontier model against two multi-agent debate tools we built and expected to win."
Вывод по AI-судьям:
"Three AI judges almost always placed the real journal referee report last. Among the three AI reports, Gemini (the judge whose model family wrote none of the reports) would have ranked paper-workshop first in the authors' place, reversing the single-pass preference. The reversal warns against substituting an AI judge for the author."
Про затраты:
"The arms vary the tokens spent on the same task by a factor of about thirty, and the authors' usefulness rankings did not improve with the spending."
Контекст: Исследователи строили мультиагентные системы и рассчитывали что они выиграют. Они зарегистрировали именно эту гипотезу — и получили обратный результат.
Адаптации и экстраполяции
💡 Адаптация: принцип "AI не судья" — не применяй AI для выбора между AI-ответами
Исследование показало: когда AI оценивает два варианта ответа, он ориентируется на свои критерии (полнота, структура, объём), а не на то, что реально полезно тебе.
Где это больно: Ты просишь написать два варианта лендинга → «выбери лучший» → AI выбирает тот, что длиннее и структурированнее. Но тебе нужен тот, что конвертит. Это разные задачи.
Практическое правило:
❌ "Вот два варианта. Какой лучше?"
✅ "Вот два варианта. Оцени по конкретному критерию:
[конверсия / ясность первого экрана / соответствие тональности бренда]"
Давай AI конкретный измеримый критерий — тогда оценка становится точнее. Или оценивай сам.
🔧 Техника: усиление обратной связи через «позицию эксперта»
Одиночный запрос работает лучше, если роль эксперта заземлена на конкретный момент решения, а не просто на профессию.
❌ "Оцени как маркетолог"
✅ "Оцени как директор по маркетингу который решает —
выделить бюджет на этот канал или нет.
У тебя 5 минут и питч. Что тебя останавливает?"
Момент решения создаёт реальный контекст → модель генерирует конкретные возражения, а не общие рекомендации.
Ресурсы
Название работы: Does Multi-Agent Debate Improve AI Feedback on Research Papers?
Авторы: Tomas Havranek, Zuzana Irsova — Charles University, Prague; Centre for Economic Policy Research, London; Meta-Research Innovation Center at Stanford
Страница проекта: meta-analysis.cz/debate
Инструменты: mad-research (Zenodo 10.5281/zenodo.20829175), paper-workshop (Zenodo 10.5281/zenodo.20828996)
Дата: Июль 2026