3,583 papers
arXiv:2507.07682 94 10 июля 2025 г. FREE

Написал промпт — получил мусор.

КЛЮЧЕВАЯ СУТЬ
Написал промпт — получил мусор. Переписал немного иначе — случайно вышло хорошо. Обзор 35 исследований по промпт-инжинирингу показал: хаос не случаен — у промптов есть 6 чётких типов, и большинство пишет их наугад, не понимая какой тип нужен. Метод позволяет перед каждым prompting-сеансом задать себе один вопрос: «Что я хочу получить на выходе?» — и выбрать технику под цель, а не угадывать. Фишка: промпт — не вопрос, а программа из блоков — роль, контекст, логика рассуждений, формат вывода, самопроверка. Каждый блок — отдельная техника. Комбинируй 3-4 блока — и модель перестаёт тебя разочаровывать.
Адаптировать под запрос

Это исследование представляет собой систематический обзор и классификацию существующих техник промпт-инжиниринга. Авторы проанализировали 35 научных работ и создали гибридную таксономию, которая организует различные подходы к написанию промптов в логическую структуру, от ориентированных на технику (например, пошаговое мышление) до ориентированных на задачу (например, генерация кода). Для каждой категории приводятся понятные примеры, иллюстрирующие ее применение.

Ключевой результат: Создана универсальная и практичная классификация техник промптинга, которая помогает пользователям понять, какой тип запроса использовать для достижения конкретной цели, и как комбинировать разные подходы для получения качественных ответов от LLM.

Суть исследования заключается в том, чтобы перейти от случайного, интуитивного написания промптов к осознанному и структурированному подходу. Авторы предлагают пользователю перед написанием запроса задуматься: "А что я хочу получить в итоге?" и выбрать соответствующую категорию промпта из их классификации.

Методика для пользователя выглядит так:

  1. Определите свою цель. Вы хотите получить креативные идеи, проанализировать сложную проблему, извлечь данные из текста или что-то еще?
  2. Выберите подходящую технику из таксономии:
    • Creative Generation: Для мозгового штурма, поиска нестандартных решений, генерации слоганов или названий. Промпт должен поощрять "воображение" модели.
    • Contextualization & Personalization: Когда нужно, чтобы модель учла конкретные примеры, действовала от лица определенной роли (например, "Ты — опытный маркетолог") или адаптировала ответ для разной аудитории. Это делается через ролевые инструкции и few-shot примеры.
    • Reasoning & Step-wise Thinking: Для решения сложных задач, требующих логики и последовательных рассуждений. Здесь используется знаменитый подход "Думай шаг за шагом" (Chain-of-Thought), который заставляет модель прописывать свою логику.
    • Knowledge Augmentation: Когда модели нужны внешние, актуальные или специфические знания, которых нет в ее обучающих данных. Вы просто предоставляете нужный текст (статью, документ, отчет) прямо в промпте (это основа техники RAG).
    • Meta-cognition & Self-reflection: Для повышения качества и надежности ответа. После того как модель дала первоначальный ответ, вы просите ее саму себя проверить, покритиковать и исправить ошибки. Например: "Проверь свой ответ на наличие логических несостыковок".
    • Information Extraction & Classification: Для извлечения и структурирования информации из текста. Вы просите модель найти в тексте определенные сущности и представить их в нужном формате (таблица, JSON, CSV).

Практическое применение заключается в комбинировании этих техник в одном промпте для достижения наилучшего результата.

  • Прямая применимость: Максимальная. Пользователь может немедленно начать использовать предложенные подходы. Например, добавить в свой промпт фразу "Действуй как..." (Contextualization), "Разберем задачу по шагам" (Reasoning) или "Проверь свой предыдущий ответ и улучши его" (Self-reflection). Примеры в статье (Listings 1-8) служат отличными шаблонами.

  • Концептуальная ценность: Очень высокая. Исследование дает пользователю "карту местности" в мире промптинга. Вместо запоминания отдельных трюков, пользователь начинает понимать категории запросов и их назначение. Ключевая концептуальная идея: промпт — это не просто вопрос, а программа для LLM, состоящая из разных инструкций (роль, контекст, логика, формат вывода, самопроверка).

  • Потенциал для адаптации: Огромный. Хотя примеры даны для сферы IT (термостат), их структура универсальна. Пользователю нужно лишь заменить предметную область. Например, вместо анализа требований к термостату можно анализировать отзывы на отель, вместо генерации кода — генерировать план питания, а вместо технических требований — извлекать ключевые тезисы из научной статьи. Механизм адаптации прост: взять структуру промпта из примера и подставить свою тему и данные.

Вот пример промпта для составления контент-плана для блога о здоровом питании, который комбинирует несколько техник из исследования.

**Роль:**
Ты — опытный SMM-менеджер и диетолог с 10-летним стажем, специализирующийся на создании вовлекающего контента о здоровом образе жизни.

**Контекст:**
Моя целевая аудитория — занятые офисные работники 25-40 лет, которые хотят питаться правильно, но не имеют много времени на готовку. Они ценят быстрые рецепты, научные факты в простой подаче и лайфхаки по экономии времени.

**Задача:**
Создай контент-план на одну неделю (5 постов) для моего блога в Instagram.

**Инструкция по выполнению (Пошаговое мышление):**
1.  **Шаг 1: Мозговой штурм.** Сгенерируй 10 идей для постов, учитывая интересы целевой аудитории.
2.  **Шаг 2: Отбор и структурирование.** Выбери 5 лучших идей и распредели их по дням недели (с понедельника по пятницу). Для каждой идеи подробно распиши:
    *   **Тема поста:** Яркий, цепляющий заголовок.
    *   **Формат:** (напр., карусель, рилс, сторис с опросом).
    *   **Ключевые тезисы:** 3-4 основных пункта, которые нужно раскрыть.
    *   **Призыв к действию (CTA):** Что должен сделать подписчик.
3.  **Шаг 3: Форматирование.** Представь итоговый контент-план в виде Markdown-таблицы.

**Самопроверка (Метапознание):**
После того как таблица будет готова, критически оцени свою работу. Ответь на вопрос: "Достаточно ли разнообразен этот контент-план, чтобы удерживать внимание аудитории всю неделю? Если нет, предложи одно улучшение".

Этот промпт эффективен, потому что он использует комбинацию из четырех мощных техник, описанных в исследовании:

  1. Контекстуализация и Персонализация: Инструкция **Роль:** Ты — опытный SMM-менеджер и диетолог... и описание **Контекст:** Моя целевая аудитория... задают модели четкие рамки. Она не просто генерирует текст, а делает это с точки зрения эксперта и с учетом потребностей конкретных людей, что повышает релевантность ответа.
  2. Reasoning & Step-wise Thinking: Указание **Инструкция по выполнению (Пошаговое мышление):** с четкими шагами (мозговой штурм, отбор, форматирование) заставляет LLM декомпозировать сложную задачу на простые подзадачи. Это предотвращает "срезание углов" и ведет к более полному и логичному результату.
  3. Information Extraction and Classification: Требование Представь итоговый контент-план в виде Markdown-таблицы заставляет модель структурировать информацию в удобном для пользователя формате, а не выдавать ее сплошным текстом.
  4. Meta-cognition & Self-reflection: Финальный запрос **Самопроверка (Метапознание):** активирует механизм самокритики. Модель вынуждена пересмотреть свой же результат и найти в нем слабые места, что часто приводит к ценным дополнениям и повышает общее качество ответа.

Пример для планирования личного путешествия.

**Роль:**
Ты — опытный тревел-блогер и организатор авторских туров по Европе. Твой стиль — находить баланс между популярными достопримечательностями и аутентичными, "не туристическими" местами.

**Контекст (Knowledge Augmentation):**
Я планирую 3-дневную поездку в Лиссабон в октябре.
*   **Бюджет:** Средний (не хостелы, но и не 5-звездочные отели).
*   **Интересы:** История, вкусная еда (особенно морепродукты), стрит-арт, красивые виды для фотографий.
*   **Темп:** Расслабленный, без спешки и беготни по 10 музеям в день.

**Задача:**
Составь для меня подробный план поездки на 3 дня.

**Инструкция по выполнению:**
1.  **День 1 (Знакомство с городом):** Предложи маршрут по историческому центру. Включи 1-2 главные достопримечательности и уютное место для ужина с морепродуктами.
2.  **День 2 (Искусство и виды):** Спланируй день, посвященный стрит-арту и панорамным видам. Посоветуй конкретные смотровые площадки (мирадору).
3.  **День 3 (Атмосфера и "скрытая жемчужина"):** Предложи более расслабленный маршрут по району Алфама или Белен. **Creative Generation:** Добавь одно "секретное" место, о котором не пишут в большинстве путеводителей (например, маленький дворик, необычный магазин или кафе с лучшими паштейш-де-ната).

**Формат вывода:**
Оформи план по дням, используя заголовки. Для каждого места указывай краткое описание (1-2 предложения), почему его стоит посетить.

Этот промпт эффективно решает задачу, так как он грамотно сочетает несколько техник из исследования:

  1. Контекстуализация и Персонализация: Задание **Роли** тревел-блогера сразу настраивает модель на нужный стиль ответа — не сухой перечень фактов, а живые рекомендации.
  2. Knowledge Augmentation: Блок **Контекст** работает как предоставление внешних знаний (в данном случае, личных предпочтений пользователя). Модель не гадает, что предложить, а "заземляет" свои рекомендации на конкретные данные: бюджет, интересы, темп. Это аналог RAG в миниатюре.
  3. Reasoning & Step-wise Thinking: Структурирование задачи по дням (День 1, День 2, День 3) помогает модели организовать информацию логично и последовательно, создавая готовый к использованию маршрут.
  4. Creative Generation: Прямая просьба Добавь одно "секретное" место... стимулирует творческие способности модели, подталкивая ее к поиску менее очевидных и более интересных вариантов, что является ключевой ценностью для пользователя, ищущего уникальный опыт.
📌

Основные критерии оценки

  • A. Релевантность техникам промтинга: Очень высокая. Исследование представляет собой систематический обзор и классификацию существующих техник промптинга (CoT, Few-shot, RAG, Self-reflection и др.), сопровождая их конкретными примерами.
  • B. Улучшение качества диалоговых ответов: Высокая. Представленные техники (особенно Reasoning, Knowledge Augmentation, Meta-cognition) напрямую нацелены на повышение логичности, фактической точности и полноты ответов LLM.
  • C. Прямая практическая применимость: Очень высокая. Несмотря на академический контекст (Requirements Engineering), все примеры промптов (Listings 1-8) можно адаптировать для любой задачи без кода и специальных инструментов. Пользователь может сразу же использовать предложенные структуры.
  • D. Концептуальная ценность: Исключительно высокая. Статья предлагает четкую и логичную таксономию (классификацию) промпт-техник. Это помогает пользователю не просто знать набор "трюков", а понимать, какой тип промпта выбрать для конкретной задачи (генерация идей, анализ, извлечение данных и т.д.), формируя "ментальную модель" взаимодействия с LLM.
  • E. Новая полезная практика (кластеризация): Работа попадает в большинство ключевых кластеров:
    • (1) Техники формулирования: Да (CoT, few-shot, role-play).
    • (3) Оптимизация структуры: Да (примеры показывают структурирование).
    • (5) Извлечение и структурирование: Да (есть отдельная категория с примером).
    • (6) Контекст и память: Да (описывается RAG и предоставление контекста).
    • (7) Надежность и стабильность: Да (категория Meta-cognition/Self-reflection).
  • Чек-лист практичности: Да, на все ключевые вопросы. Дает готовые конструкции, показывает как структурировать запросы и раскрывает неочевидные особенности поведения LLM (например, пользу от самокритики).
📌

Цифровая оценка полезности

Аргументы за высокую оценку (94/100): Это исследование — настоящий концентрат пользы для любого пользователя LLM. Оно не изобретает новые техники, а систематизирует, классифицирует и объясняет на простых примерах самые эффективные из существующих. Предложенная таксономия (рис. 2) — это, по сути, готовая "карта" по миру промпт-инжиниринга, которая помогает пользователю осознанно выбирать инструмент под задачу. Примеры (Listings 1-8) кристально чистые, короткие и легко адаптируются под любую сферу, выходя далеко за рамки "Requirements Engineering". Работа дает как конкретные "рецепты" промптов, так и глубокое концептуальное понимание, почему они работают.

Контраргументы (почему не 100/100): * Академический фокус: Терминология и основная тема ("Requirements Engineering", "PE4RE") могут отпугнуть обычного пользователя, который может ошибочно счесть материал слишком узкоспециализированным и нерелевантным для своих задач. * Обзорный характер: Работа является обзором, а не первоисточником техник. Она блестяще компилирует знания, но не предлагает чего-то принципиально нового, чего нельзя было бы найти в первоисточниках (хотя и с гораздо большими усилиями).


📋 Дайджест исследования

Ключевая суть

Написал промпт — получил мусор. Переписал немного иначе — случайно вышло хорошо. Обзор 35 исследований по промпт-инжинирингу показал: хаос не случаен — у промптов есть 6 чётких типов, и большинство пишет их наугад, не понимая какой тип нужен. Метод позволяет перед каждым prompting-сеансом задать себе один вопрос: «Что я хочу получить на выходе?» — и выбрать технику под цель, а не угадывать. Фишка: промпт — не вопрос, а программа из блоков — роль, контекст, логика рассуждений, формат вывода, самопроверка. Каждый блок — отдельная техника. Комбинируй 3-4 блока — и модель перестаёт тебя разочаровывать.

Принцип работы

Шесть категорий техник, каждая под свою задачу: — Creative Generation (творческая генерация) — нужны идеи, варианты, нестандартные решения. Поощряешь «воображение» модели. — Contextualization & Personalization (контекст и роль) — говоришь «Ты — опытный маркетолог» и даёшь примеры. Модель отвечает как эксперт, а не как Википедия. — Reasoning & Step-wise Thinking (пошаговые рассуждения, CoT) — «Разбери задачу по шагам». Модель прописывает логику и перестаёт срезать углы. — Knowledge Augmentation (обогащение данными) — вставляешь нужный текст прямо в промпт. Это и есть суть поиска с дополнением (RAG) в миниатюре: модель не угадывает, а опирается на твои данные. — Meta-cognition & Self-reflection (самопроверка) — после первого ответа просишь модель самой найти в нём слабые места и исправить. Встроенный редактор. — Information Extraction & Classification (извлечение информации) — «Выдай результат таблицей» или «В формате JSON». Структура вместо сплошного текста. Главный принцип: сначала спроси себя «чего хочу в итоге?» — потом выбирай тип, а не пиши первое что пришло в голову.

Почему работает

Модель без структуры отвечает на то, что поняла буквально — широко, поверхностно, без учёта твоих нужд. Каждая техника закрывает одно из слабых мест: без роли — обобщает; без данных — придумывает; без шагов — срезает углы; без самопроверки — не замечает ошибки. Комбинация даже трёх техник в одном промпте — это как разница между «скажи что-нибудь» и «ты эксперт, вот данные, разбери по шагам, оформи таблицей, потом найди слабые места». Первое даёт мусор. Второе даёт готовый результат.

Когда применять

Везде, где промпт длиннее одной строки и результат важен. Особенно хорошо работает для: создания контента (посты, планы, тексты), анализа документов и отзывов, решения задач с несколькими условиями, извлечения структурированных данных из неструктурированных текстов, планирования (маршруты, проекты, контент-планы). НЕ подходит: когда нужен быстрый однострочный ответ — «сколько дней в феврале?». Там таксономия избыточна.

Мини-рецепт

1. Определи цель: что ты хочешь получить на выходе — идеи, анализ, таблицу, план, структурированные данные?
2. Выбери 2-3 техники под цель: нужен эксперт — добавь роль; сложная задача — добавь пошаговое мышление; хочешь точности — добавь самопроверку; нужны твои данные в ответе — вставь контекст прямо в промпт.
3. Собери промпт из блоков по порядку: роль → контекст → задача → инструкция по выполнению (шаги) → требуемый формат вывода → самопроверка.
4. Добавь самопроверку в конце: «После ответа оцени: что я мог упустить или сделать лучше?» — это работает почти всегда и почти ничего не стоит.

Примеры

[ПЛОХО] : Составь контент-план для моего блога о здоровом питании
[ХОРОШО] : Ты — SMM-менеджер и диетолог с 10-летним стажем (роль). Моя аудитория — офисные работники 25-40 лет, хотят питаться правильно, но времени мало (контекст). Создай контент-план на неделю, 5 постов. Шаг 1: придумай 10 идей. Шаг 2: выбери 5 лучших, распредели по дням, для каждого укажи тему, формат и призыв к действию. Шаг 3: оформи таблицей (пошаговое мышление + формат). После таблицы ответь: достаточно ли разнообразен план, чтобы держать внимание всю неделю? Если нет — предложи одно улучшение (самопроверка).
Источник: Prompt Engineering for Requirements Engineering: A Literature Review and Roadmap
ArXiv ID: 2507.07682 | Сгенерировано: 2026-03-02 18:01

Методы

МетодСуть
Промпт как программа — пять слоёвСтрой запрос из пяти блоков: роль ("ты — опытный X") контекст (данные, аудитория, ограничения) шаги ("сначала сделай A, затем B, потом C") формат вывода (таблица, JSON, маркированный список) самопроверка ("теперь найди слабые места в своём ответе и улучши"). Почему работает: каждый слой снимает одну степень неопределённости. Роль задаёт стиль. Контекст убирает угадывание. Шаги не дают "срезать углы". Формат убирает лишний текст. Самопроверка ловит очевидные ошибки. Когда применять: сложные задачи с несколькими подзадачами. Когда не нужно: простой вопрос с однозначным ответом — все пять слоёв избыточны

Тезисы

ТезисКомментарий
Самопроверка повышает качество — если вопрос конкретныйПопросить модель "проверь себя" недостаточно. Нужен чёткий критерий: "достаточно ли разнообразен план?" или "есть ли логические противоречия?". Размытый запрос на проверку даёт размытый результат. Применяй: после основного ответа добавляй "ответь на вопрос: [конкретный критерий]. Если нет — исправь"
📖 Простыми словами

Инженерия промптов для инженерии требований: обзор литературы и дорожная карта

arXiv: 2507.07682

Суть в том, что Prompt Engineering перестает быть шаманством с бубном и превращается в строгую инженерную дисциплину. Исследователи прогнали сотни кейсов и поняли: нейронка выдает мусор не потому, что она глупая, а потому, что ты ставишь ей задачу как пьяный прораб. Чтобы получить на выходе вменяемые требования к софту или контенту, нужно использовать структурные паттерны, которые буквально заставляют модель имитировать логику эксперта, а не просто гадать следующее слово.

Это как пытаться заказать ремонт в квартире: если ты скажешь «сделай красиво», получишь золотые унитазы и леопардовые обои. Но если ты дашь мастеру чертеж, список материалов и примеры того, что тебе нравится, шансы не профукать бюджет резко возрастают. Нейронка — это тот самый мастер: она чертовски исполнитльна, но абсолютно лишена телепатии, поэтому ей нужны жесткие рамки контекста.

В исследовании выделили несколько рабочих техник, но база — это Few-Shot Prompting и Chain-of-Thought. Первая штука — это когда ты даешь модели 2-3 идеальных примера, чтобы она поняла стиль и формат. Вторая — заставляешь её «думать вслух», прописывая шаги решения. Когда ты комбинируешь это с назначением роли (например, «ты — системный аналитик с 10-летним стажем»), модель перестает галлюцинировать и начинает выдавать результат, который реально можно нести в продакшен.

Хотя ученые мучили нейронки на задачах Requirements Engineering (сбор требований к софту), эти принципы — абсолютный стандарт для любой сложной работы. Будь то составление контент-плана, написание кода или юридический аудит — универсальный паттерн везде один. Если ты не задал контекст, не ограничил формат и не показал пример, ты просто играешь в лотерею, где главный приз — бесполезная простыня текста.

Короче: завязывай писать промпты в одну строчку и надейся на чудо. Исследование четко говорит — структура бьет креатив. Используй проверенные методы вроде Zero-Shot CoT (просто добавь фразу «давай думать пошагово») и всегда давай модели «роль», иначе она так и будет отвечать тебе как средний пользователь интернета, а не как профи. Либо ты учишься инженерии промптов, либо продолжаешь тратить время на переделывание фигни.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с