Пришло ли время рассматривать промпты как код? Многоцелевое исследование оптимизации промптов с использованием DSPy

Исследование изучает, можно ли заменить ручной подбор промптов автоматизированным процессом с помощью программного фреймворка DSPy. Этот инструмент сам генерирует и тестирует множество вариантов инструкций и примеров, чтобы найти наиболее эффективный промпт для конкретной задачи (например, для обнаружения ошибок в коде или классификации запросов). Основная идея — перейти от интуитивного "промпт-арта" к системной "промпт-инженерии".

Ключевой результат: Автоматическая оптимизация промптов с помощью DSPy действительно может значительно повысить точность ответов LLM, но созданные таким образом "идеальные" промпты не всегда хорошо работают, если их просто скопировать и использовать вне среды DSPy.

Суть метода, описанного в исследовании, заключается в том, чтобы перестать относиться к промпту как к простому тексту, а начать относиться к нему как к программе, которую можно оптимизировать. Вместо того чтобы человек сидел и часами переписывал промпт, пытаясь угадать нужные слова, предлагается использовать фреймворк DSPy.

Работает это так: 1. Вы не пишете промпт, а описываете задачу: Вы определяете, какие данные подаются на вход (например, "вопрос пользователя") и что вы хотите получить на выходе (например, "ответ 'да' или 'нет'"). 2. Вы даете примеры: Вы предоставляете небольшой набор данных с правильными ответами (обучающий датасет). 3. DSPy подбирает промпт за вас: Фреймворк начинает "компилировать" промпт. Он автоматически генерирует разные формулировки инструкций, подбирает лучшие примеры из вашего набора данных и комбинирует их. 4. Он тестирует и выбирает лучший: Каждый сгенерированный промпт прогоняется через LLM, и результат сравнивается с вашими правильными ответами. Тот промпт, который показал наилучшую точность, и становится итоговым.

Для обычного пользователя это означает переход от мышления "какие волшебные слова мне написать?" к мышлению "как я могу четко определить свою задачу, ограничения и привести хорошие примеры, чтобы модель меня поняла?".

• Прямая применимость: Нулевая. Пользователь в чат-интерфейсе не может установить и использовать Python-фреймворк DSPy. Метод полностью ориентирован на разработчиков, создающих приложения на базе LLM.

• Концептуальная ценность: Высокая. Исследование дает пользователю три мощные концептуальные идеи:

  1. Промптинг — это не магия, а инженерия. Качество промпта можно измерить и систематически улучшить.
  2. Инструкции + Примеры = Сила. Наилучшие результаты достигаются, когда оптимизируются не только слова в инструкции, но и набор примеров (few-shot), которые вы даете модели.
  3. Контекст имеет значение. "Идеальный" промпт не существует в вакууме. Его эффективность зависит от системы, в которой он выполняется. Промпт, идеально работающий в одной среде, может быть неэффективен в другой.

• Потенциал для адаптации: Пользователь не может адаптировать сам инструмент, но может адаптировать философию этого инструмента. Вместо использования DSPy, пользователь может вручную имитировать его работу:

  1. Создать мини-тест: Для важной задачи придумать 5-10 примеров входных данных и желаемых результатов.
  2. Итеративно улучшать промпт: Написать первую версию промпта. "Прогнать" через него все тестовые примеры и посчитать, сколько раз результат совпал с желаемым.
  3. Вносить изменения и перепроверять: Изменить одну часть промпта (например, добавить ограничение или переформулировать инструкцию) и снова прогнать весь тест. Если точность выросла — изменение удачное. Этот системный подход гораздо эффективнее случайных правок.

Хотя мы не можем использовать DSPy, мы можем создать промпт, основанный на его "программной" философии: с четкой структурой, ролями, ограничениями и форматом вывода.

Задача: Составить персонализированное маркетинговое письмо для клиента, который давно не совершал покупок.

### Роль ###
Ты — опытный маркетолог, специализирующийся на email-рассылках для удержания клиентов в сфере онлайн-торговли одеждой. Твой стиль — дружелюбный, но не фамильярный.

### Задача ###
Создать короткое и вовлекающее email-письмо для "спящего" клиента. Цель — напомнить о бренде и мотивировать вернуться на сайт с помощью специального предложения.

### Контекст ###
- **Имя клиента:** Анна
- **Последняя покупка:** 6 месяцев назад (зимняя куртка)
- **Интересы (предположительно):** Женская верхняя одежда, кэжуал стиль.
- **Специальное предложение:** Персональная скидка 20% на новую весеннюю коллекцию.

### Ключевые инструкции и ограничения ###
1.  **Тема письма:** Должна быть интригующей и короткой (не более 7 слов).
2.  **Обращение:** Обязательно по имени "Анна".
3.  **Основной текст:**
    - Начни с дружелюбного напоминания, что мы скучаем.
    - Сделай тонкий комплимент, связанный с ее прошлым выбором (например, "надеемся, наша куртка согревала вас всю зиму").
    - Презентуй новую весеннюю коллекцию как логичное продолжение.
    - Четко укажи размер скидки (20%) и на что она распространяется.
4.  **Ограничения:**
    - **ЗАПРЕЩЕНО** использовать фразы "Вы давно у нас не были", "Мы заметили ваше отсутствие".
    - **ЗАПРЕЩЕНО** использовать больше одного восклицательного знака.
    - Тон должен быть заботливым, а не требовательным.
5.  **Призыв к действию (CTA):** Один, ясный и понятный (например, "Взглянуть на коллекцию").

### Формат вывода ###
Предоставь ответ в формате JSON со следующими ключами:
- `subject`: (тема письма)
- `body`: (текст письма)

Этот промпт работает, потому что он воплощает принципы, заложенные в DSPy, но в ручном режиме. Мы не просто просим "напиши письмо", мы создаем спецификацию для задачи:

• Декларативность: Мы описываем что нужно получить, а не как это делать по шагам.
• Структурированные входы: Вместо сплошного текста мы четко разделяем Роль, Задачу, Контекст и Ограничения. Это помогает модели лучше понять все компоненты запроса.
• Явные ограничения: Раздел Ограничения (особенно с ЗАПРЕЩЕНО) работает как "guardrails" (ограждения), которые в DSPy задаются программно. Это резко снижает вероятность получения нежелательного результата.
• Определенный формат вывода: Требование JSON-ответа заставляет модель структурировать свой вывод и придерживаться заданных рамок, что повышает предсказуемость и качество.

Задача: Сгенерировать идеи для семейного отпуска на выходные.

Ты — эксперт по планированию семейных путешествий по России, который умеет находить баланс между интересами детей и взрослых.



Предложить 3 разных по типу варианта для поездки на выходные (суббота-воскресенье) для семьи.



- **Состав семьи:** 2 взрослых, 1 ребенок (мальчик, 8 лет).
- **Интересы ребенка:** Динозавры, конструкторы, активные игры.
- **Интересы взрослых:** Природа, история, вкусная еда, не слишком утомительные прогулки.
- **Отправная точка:** Москва.
- **Бюджет:** Средний (до 30 000 рублей на всех за 2 дня).
- **Транспорт:** Личный автомобиль.



- Время в пути в одну сторону не должно превышать 3 часов.
- Каждый вариант должен включать как минимум одно развлечение для ребенка и одно для взрослых.
- Избегай банальных предложений, которые есть в каждом первом путеводителе. Предложи что-то с "изюминкой".
- Не предлагай шопинг-центры и кинотеатры.



Для каждого из 3 вариантов предоставь информацию в следующем виде:
- **Название варианта:** (например, "Поездка в прошлое в Тульскую область")
- **Основная идея:** (кратко, в одном предложении)
- **План на Субботу:** (конкретные места и занятия)
- **План на Воскресенье:** (конкретные места и занятия)
- **Почему это понравится ребенку:** (прямое объяснение)
- **Почему это понравится взрослым:** (прямое объяснение)

Этот промпт эффективен, так как он переносит инженерный подход из исследования в повседневную задачу, используя XML-теги для максимальной структурированности:

• Модульность: Каждый тег (<Role>, <Context>, <Constraints>) работает как отдельный модуль или функция в программе. Это позволяет LLM обрабатывать каждую часть информации изолированно и затем синтезировать их в единый ответ.
• Типизация данных: Теги <Context> и <Output_Structure> по сути задают "типы данных" для входа и выхода. Модель понимает, что ей дали на вход (состав семьи, бюджет) и в каком точно формате от нее ждут ответ. Это снижает риск галлюцинаций и нерелевантных ответов.
• Четкие правила: Тег <Constraints> действует как набор правил if-then-else в коде. "Если время в пути > 3 часов, то этот вариант не предлагать". Это направляет процесс генерации в нужное русло, отсекая заведомо неподходящие варианты.

По сути, мы вручную "скомпилировали" промпт, который DSPy мог бы сгенерировать автоматически, тем самым повышая надежность и релевантность ответа без единой строчки кода.