TL;DR
LLM плохо планирует, но отлично исполняет. Это исследование сравнило три подхода к созданию документации: один большой промпт, цепочка специализированных агентов и гибрид — когда человек задаёт структуру, а AI её заполняет. Победил гибрид.
Главная находка: узкое место сложных AI-систем — это автономное планирование. Когда AI сам решает «что писать и в каком порядке» — он генерирует шаблонные, предсказуемые планы. Из этого вырастают посредственные тексты: формально правильные, но без глубины и специфики. Это та самая боль, когда просишь ChatGPT «напиши подробный отчёт» — и получаешь общие разделы с водой вместо конкретики.
Решение простое: отними у AI функцию планирования — оставь ему только исполнение. Ты задаёшь структуру и порядок разделов, AI заполняет каждый. Результат стабильно лучше, чем когда AI всё делает сам — даже если этот «сам» реализован через сложную систему агентов.
Схема метода
ШАГ 1 (ТЫ): Составь структуру документа — список разделов
в нужном порядке → JSON-план или просто нумерованный список
ШАГ 2 (AI): Для каждого раздела — отдельный запрос с контекстом
→ черновик раздела
ШАГ 3 (AI): Проверка и сшивка → финальный документ
Один промпт или несколько — зависит от длины документа.
Для коротких задач (до 1000 слов) — одним промптом со структурой.
Для длинных — по разделу за запрос.
Пример применения
Задача: Написать инвестиционный меморандум для стартапа — сервиса доставки лекарств из аптек за 30 минут. Презентация для фонда Альфа-Групп.
Что обычно делают: «ChatGPT, напиши инвестиционный меморандум для стартапа по доставке лекарств»
Что получают: Стандартная структура о «быстрорастущем рынке», «уникальном предложении» и «опытной команде». Ноль специфики.
Промпт по Dev-Plan принципу:
Напиши инвестиционный меморандум для стартапа «АптекаРядом»
(доставка лекарств за 30 минут в Москве).
Структура — строго в этом порядке:
1. Проблема — почему люди не могут ждать доставку лекарств сутки
2. Решение — как работает сервис технически (партнёрства, маршрутизация)
3. Рынок — объём рынка аптечного ритейла РФ, CAGR, доля онлайн
4. Бизнес-модель — откуда деньги (маржа с аптек, подписка, реклама)
5. Трекшн — текущие метрики: GMV, кол-во заказов/день, NPS
6. Конкуренты — Сбер Еаптека, Apteka.ru, Яндекс.Маркет Здоровье
7. Команда — ключевые люди и релевантный опыт
8. Финансовый запрос — сколько, на что, какой раунд
Для каждого раздела:
— Будь конкретным, избегай общих фраз типа "быстрорастущий рынок"
— Если нет данных — укажи [ДАННЫЕ НУЖНЫ] и объясни почему это важно
— Объём каждого раздела: 3-5 предложений
Начинай с раздела 1.
Результат:
Модель пройдёт по каждому разделу строго в указанном порядке. Там где не хватает данных — поставит явные метки [ДАННЫЕ НУЖНЫ] вместо того чтобы выдумывать. Финальный текст будет структурно полным — ни один важный раздел не выпадет. Тон будет специфичным для фармацевтического рынка, а не шаблонным «стартап-спичем».
Почему это работает
LLM плохо держит в голове «что ещё не написано». Когда ты просишь написать длинный документ одним запросом — модель генерирует текст последовательно, слова за словами. Она не «видит» документ целиком. Поэтому одни разделы получаются раздутыми, другие — выпадают совсем. Это не баг, это природа авторегрессивной генерации.
Зато LLM отлично заполняет заданный контейнер. Когда структура уже есть — модели не нужно тратить «мощность» на планирование. Вся энергия идёт в качество содержания конкретного раздела. Это как разница между «сочини план и напиши эссе» против «вот план — напиши эссе».
Рычаги управления:
- Объём раздела — укажи лимит в словах или предложениях → предотвращает «воду»
- Метка для пропусков — попроси ставить [НУЖНЫ ДАННЫЕ] → получишь честный документ, не выдуманные цифры
- Стиль раздела — для каждого раздела можно указать разные требования: «раздел 3 — только цифры», «раздел 7 — нарративный формат»
- Итерация — после черновика попроси пройтись по каждому разделу и «ужесточить» формулировки
Шаблон промпта
Напиши {тип документа} для {контекст/проект}.
Структура — строго в этом порядке:
1. {раздел_1} — {что должно быть внутри}
2. {раздел_2} — {что должно быть внутри}
3. {раздел_3} — {что должно быть внутри}
[добавь нужное количество разделов]
Для каждого раздела:
— {требование к стилю}
— {требование к объёму}
— Если данных нет — пиши [{метка}] и объясни что нужно
Начинай с раздела 1.
Что подставлять:
- {тип документа} — отчёт, стратегия, техзадание, компред, питч
- {контекст/проект} — конкретная компания, задача, продукт
- {раздел_N} — твои разделы в правильном порядке (это ключевое)
- {требование к стилю} — «только факты», «нарратив», «bullet-points»
- {метка} — НУЖНЫ ДАННЫЕ или ПРОВЕРИТЬ или УТОЧНИТЬ
🚀 Быстрый старт — вставь в чат:
Вот шаблон для написания документов с заданной структурой.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит тип документа, контекст и желаемые разделы — потому что именно структура разделов определяет качество финального текста. Она возьмёт паттерн из шаблона и соберёт промпт под твою задачу.
Ограничения
⚠️ Структурная полнота vs. скорость: Если писать каждый раздел отдельным запросом — качество выше, но нужно больше времени и сообщений. Для коротких документов (до 1000 слов) достаточно одного промпта со структурой.
⚠️ Ты должен знать структуру: Метод работает только если ты сам понимаешь, какие разделы нужны. Если ты не знаешь структуру — попроси AI сначала предложить варианты структур, выбери и скорректируй, и только потом запускай исполнение.
⚠️ Не для коротких задач: Для ответа на простой вопрос или написания одного абзаца — избыточно. Метод даёт эффект на объёмных материалах: отчёты, стратегии, компреды, технические документы.
⚠️ Метод исследовался на генерации кода документации. Перенос на другие домены (маркетинг, юридические документы) — логичная экстраполяция, но не прямое доказательство.
Как исследовали
Команда из университета Л'Акуила взяла 180 реальных GitHub-репозиториев (Python, JavaScript, Go), созданных после августа 2025 года — специально чтобы исключить «утечку данных» (модели могли видеть эти репозитории в обучении). Все оригинальные README убрали и попросили три системы написать их заново: один большой промпт, цепочка из пяти агентов и гибрид с человеческим планом.
Оценивали двумя способами: автоматически через ROUGE и BERTScore (насколько текст похож на оригинал) и вручную — смотрели, все ли важные разделы есть. Это разумный дизайн: текстовое сходство и структурная полнота — разные вещи.
Самое неожиданное: один промпт выиграл у сложной системы агентов по качеству текста — и при этом использовал в 7 раз меньше токенов. Но структурно проиграл: автономные агенты включили нужные разделы в 98% случаев против 49% у одного промпта. Это объяснило почему обе оценки нужны — ROUGE видит одно, а человек другое.
Dev-Plan победил оба подхода: средняя оценка LLM-судьи 8.60 против 7.55 у агентов и 7.25 у одного промпта. Исследователи интерпретируют это однозначно: планирование — главная слабость автономных AI-систем. Когда человек берёт планирование на себя, пропадает первопричина деградации.
Адаптации и экстраполяции
🔧 Двухходовка: сначала структура, потом исполнение
Если не знаешь оптимальную структуру — сделай два хода: 1. «Предложи 3 варианта структуры для {документ}. Объясни логику каждого» 2. Выбираешь и правишь структуру → запускаешь исполнение
Ты всё равно остаёшься архитектором — просто AI помогает с вариантами.
🔧 Явная инструкция по планированию
Если всё же хочешь одним запросом — добавь перед основным промптом:
Сначала составь структуру документа и покажи мне её. Жди моего подтверждения перед тем как писать.Это не Dev-Plan, но ближе к нему: ты видишь план до исполнения и можешь скорректировать.
Ресурсы
Статья: "The Illusion of Agentic Complexity in README.md Generation: Evaluating Single-Agent vs. Multi-Agent RAG Systems"
Репликационный пакет: https://anonymous.4open.science/r/ML4SE-8268/README.md
Авторы: Abu Saleh, Tesfay Welegebreal Tesfay, Phuong T. Nguyen, Juri Di Rocco, Muhammad Umar Zeshan, Davide Di Ruscio
Университеты: University of L'Aquila (Италия), Åbo Akademi University (Финляндия)
Связанные работы: LARCH (Koreeda et al.), RMGenie, RepoAgent, MetaGPT, AutoGen