Оценка больших языковых моделей для перевода кода: влияние языка промпта и дизайна промпта

Исследователи сравнили, как большие языковые модели переводят программный код с одного языка на другой, используя два типа промптов: очень короткий ("переведи этот код с X на Y") и очень подробный, с перечнем из 10 конкретных требований к результату. Также они проверили, влияет ли язык самого промпта (английский против арабского) на качество перевода.

Ключевой результат: Детализированные, структурированные промпты на английском языке систематически дают значительно более качественные и точные результаты, чем краткие и общие инструкции.

Суть метода, доказанного в исследовании, заключается в переходе от постановки задачи к формулированию технического задания (ТЗ) внутри промпта. Вместо того чтобы просто сказать модели, что сделать, вы должны подробно описать, как это сделать и каким критериям должен соответствовать результат.

Исследование противопоставляет два подхода: 1. Краткая инструкция (плохо): Please translate this code from C++ to Java. Это оставляет модели слишком много свободы для интерпретации. Она может потерять комментарии, изменить логику или использовать неэффективные структуры данных. 2. Детализированная спецификация (хорошо): Та же просьба, но дополненная списком из 10 конкретных правил: * сохрани логику и алгоритм; * сохрани имена переменных; * сохрани комментарии и их расположение; * используй эквивалентные структуры данных; * следуй конвенциям целевого языка и т.д.

Этот список правил выступает в роли чек-листа для модели. Он заставляет LLM последовательно проверять свой результат на соответствие каждому пункту, что резко снижает количество ошибок и неточностей. Для обычного пользователя это означает: не надейтесь, что модель "сама догадается", что для вас важно. Скажите ей об этом прямо, по пунктам.

• Прямая применимость: Любой пользователь может немедленно улучшить свои промпты, добавив в них раздел с четкими, пронумерованными или маркированными требованиями к ответу. Вместо "Напиши пост о пользе медитации" можно написать "Напиши пост... Требования: 1. Тон — спокойный и убедительный. 2. Аудитория — офисные работники. 3. Длина — 3 абзаца. 4. Включи одно практическое упражнение. 5. Заверши призывом к действию".

• Концептуальная ценность: Исследование формирует правильную "ментальную модель" LLM. Это не творческий партнер, а чрезвычайно мощный, но буквальный исполнитель инструкций. Чем детальнее и однозначнее инструкция, тем выше предсказуемость и качество результата. Это объясняет, почему на одинаковые, но расплывчатые запросы модель часто дает разные по качеству ответы.

• Потенциал для адаптации: Метод легко адаптируется. Нужно мысленно составить список критериев "идеального ответа" на ваш запрос и просто перенести этот список в промпт. Для написания email — это тон, структура, ключевые тезисы. Для анализа текста — это критерии анализа, категории и формат вывода. Механизм адаптации — это декомпозиция вашего неявного ожидания в явный список правил.

Представим, что пользователю нужно составить контент-план для блога о путешествиях.

# Роль и Цель
Выступи в роли опытного SMM-менеджера и контент-стратега. Твоя задача — разработать контент-план для Instagram-блога о бюджетных путешествиях по России.

# Контекст
- **Название блога:** "Доступная Россия"
- **Целевая аудитория:** Студенты и молодые специалисты (18-25 лет), которые хотят путешествовать, но имеют ограниченный бюджет.
- **Цель контент-плана:** Привлечь первую 1000 подписчиков за месяц, повысить вовлеченность.

# Задание
Создай контент-план на одну неделю (7 дней).

# Детализированные требования к контент-плану (обязательно к исполнению):

1.  **Разнообразие форматов:** План должен включать посты, Stories (минимум 3 идеи) и один Reels.
2.  **Сохранение тематики:** Все идеи должны строго соответствовать теме "бюджетные путешествия по России".
3.  **Структура вывода:** Представь результат в виде таблицы с колонками: "День недели", "Формат", "Тема/Идея", "Краткое описание и призыв к действию".
4.  **Практическая польза:** Как минимум 3 идеи должны содержать конкретные лайфхаки (например, "как сэкономить на билетах", "топ-5 бесплатных музеев в Казани").
5.  **Интерактивность:** Включи как минимум два интерактивных элемента (опрос в Stories, вопрос в конце поста для стимуляции комментариев).
6.  **Тон голоса (Tone of Voice):** Дружелюбный, энергичный, вдохновляющий. Избегай формализма.

Этот промпт работает по тому же принципу, что и "детализированная спецификация" из исследования.

• Устранение двусмысленности: Вместо абстрактного "сделай контент-план", мы даем четкие рамки. Модель не будет "фантазировать" на тему форматов или тем, а будет следовать заданным правилам.
• Структурное принуждение: Требование №3 (Структура вывода: ...таблица...) заставляет модель форматировать ответ удобным для пользователя образом, а не сплошным текстом.
• Контроль качества: Требования №1, №4, №5 действуют как чек-лист. Модель вынуждена сгенерировать идеи для разных форматов, добавить практические советы и интерактивы, что напрямую повышает качество и полноту контент-плана. Это аналог требований "сохранить логику" и "использовать эквивалентные структуры" из исследования.

Задача: проанализировать отзывы клиентов на новый сервис доставки еды и подготовить краткую сводку для руководителя.

# Роль
Ты — беспристрастный аналитик данных, специализирующийся на обработке обратной связи от клиентов.

# Контекст
Ниже приведены 5 отзывов клиентов о нашем новом сервисе доставки "БыстроЕм".

<отзывы>
1. "Заказ приехал на 40 минут позже обещанного, пицца была холодной. Ужас. Но курьер был вежливый."
2. "Очень удобное приложение, все интуитивно понятно. Цены средние. Еда вкусная, привезли вовремя."
3. "Почему в меню нет вегетарианских опций? Пришлось заказывать в другом месте. Расширьте ассортимент!"
4. "Все супер, доставка быстрая, еда горячая. Буду заказывать еще!"
5. "Не смог оплатить картой в приложении, выдавало ошибку. Пришлось платить наличными, что неудобно."


# Задание
Проанализируй эти отзывы и представь результаты в виде структурированной сводки.

# Детальные инструкции и требования к анализу:

1.  **Категоризация:** Распредели каждый отзыв по трем основным категориям: **"Скорость доставки"**, **"Качество еды"**, **"Работа приложения/Сервис"**. Один отзыв может относиться к нескольким категориям.
2.  **Определение тональности:** Для каждой упомянутой в отзыве категории определи тональность как **"Позитивная"**, **"Негативная"** или **"Нейтральная/Предложение"**.
3.  **Извлечение ключевой проблемы/похвалы:** Для каждой негативной или позитивной оценки кратко сформулируй суть в 2-4 словах (например, "холодная еда", "удобный интерфейс").
4.  **Формат вывода:** Сформируй результат в виде Markdown-таблицы с колонками: `ID Отзыва | Категория | Тональность | Ключевая суть`.

Этот промпт эффективен, потому что он полностью следует логике "детализированной спецификации" из статьи, адаптированной для задачи анализа текста.

• Предопределенная схема анализа: Вместо того чтобы просить "проанализируй отзывы", что может привести к общему пересказу, мы даем модели точную схему (Категоризация, Тональность, Извлечение сути). Это аналог требования "использовать эквивалентные структуры данных" из исследования — мы задаем структуру для мышления модели.
• Снижение когнитивной нагрузки на модель: Четкие категории и правила ("Позитивная", "Негативная") упрощают для модели задачу классификации. Ей не нужно изобретать собственные теги, она просто следует заданному алгоритму.
• Гарантия нужного формата: Требование №4 о Markdown-таблице гарантирует, что результат будет структурированным, легко читаемым и готовым для копирования в отчет, точно так же, как в исследовании требование "возвращать только код" обеспечивало чистоту вывода. Промпт не оставляет модели шанса выдать результат в неудобном виде.