Исследователи сравнили три большие языковые модели (GPT-4o, DeepSeek-V3, GLM-4.5) в роли ИИ-репетитора. Моделям давали ответы студента на тест и просили проанализировать ошибки, определить пробелы в знаниях и дать персональные рекомендации по обучению. Для объективной оценки качества ответов использовали другую модель (Gemini) в качестве "судьи".
Ключевой результат: GPT-4o генерирует значительно более качественные, структурированные и полезные рекомендации, чем конкуренты, благодаря чему является наиболее подходящим инструментом для подобных задач.
Суть метода заключается в том, чтобы заставить LLM выполнить сложную аналитическую работу и представить результат в виде структурированного отчета, а не простого ответа. Это достигается с помощью промпта, построенного по принципу "инструкции для исполнителя".
Методика состоит из четырех ключевых шагов, которые нужно последовательно изложить в промпте:
Назначение Роли (Role-Playing): В самом начале вы даете модели четкую роль. Например:
«Ты — опытный маркетолог-аналитик»или«Ты — профессиональный HR-специалист». Это настраивает модель на нужный стиль, лексику и фокус анализа.Описание Входных Данных: Вы точно указываете, какую информацию модель получит. Например:
«Тебе будет предоставлен список отзывов клиентов»или«Ниже приведен текст моего резюме и описание вакансии».Декомпозиция Задачи (Task Decomposition): Это самый важный шаг. Вы не просите "проанализировать всё", а разбиваете большую задачу на несколько маленьких, последовательных подзадач. Обычно это делается с помощью нумерованного списка.
- Шаг 1: Идентификация (например, "Определи основные темы в отзывах...").
- Шаг 2: Анализ (например, "Оцени сильные и слабые стороны по каждой теме...").
- Шаг 3: Генерация рекомендаций (например, "Предложи конкретные, выполнимые шаги по улучшению...").
Требования к Формату Вывода: Вы явно указываете, как должен выглядеть ответ. Например:
«Оформи свой ответ в виде отчета с разделами: "Сильные стороны", "Зоны роста", "План действий". Используй списки для перечисления пунктов».
Этот подход превращает LLM из собеседника в управляемого аналитического ассистента, который следует вашему рабочему процессу и выдает предсказуемый, полезный результат.
Прямая применимость: Чрезвычайно высокая. Пользователь может взять предложенную в исследовании структуру промпта (
Роль -> Данные -> Задачи -> Формат) и немедленно применить ее для своих нужд, просто заменив детали. Например, вместо анализа ответов студента можно анализировать отзывы на товар, рабочие отчеты, черновик статьи или даже план путешествия.Концептуальная ценность: Исследование наглядно доказывает, что LLM — это не "черный ящик", а инструмент, которым можно и нужно управлять. Оно учит пользователя мыслить как менеджер, который ставит задачу подчиненному: четко определить роль, предоставить данные, разбить задачу на этапы и указать желаемый формат результата. Это фундаментальный сдвиг от "запросов" к "инструкциям".
Потенциал для адаптации: Метод универсален. Чтобы адаптировать его, нужно просто заменить предметную область. Вместо "репетитора по структурам данных" ставим "фитнес-тренера", вместо "ответов на тест" — "мой дневник питания и тренировок". Логика декомпозиции (определи -> проанализируй -> порекомендуй) остается той же, что делает этот подход мощным шаблоном для десятков различных сценариев.
Представим, что вы владелец небольшой кофейни и собрали отзывы клиентов с сайта. Вам нужно их проанализировать, чтобы понять, что улучшить.
Ты — опытный маркетолог-аналитик, специализирующийся на ресторанном бизнесе. Твоя задача — помочь мне улучшить мою кофейню на основе отзывов клиентов.
Тебе будет предоставлено 10 отзывов клиентов.
Твоя задача состоит из 3 шагов:
1. **Идентифицируй ключевые темы**, которые упоминают клиенты. Например: качество кофе, скорость обслуживания, атмосфера, цены, чистота, ассортимент выпечки.
2. **Проанализируй отзывы**, чтобы определить сильные и слабые стороны кофейни по каждой из этих тем. Оцени, что клиентам нравится больше всего, а на что они чаще всего жалуются.
3. **Предоставь детальный и персонализированный анализ** в виде отчета. Отчет должен включать:
* Список сильных сторон (что нужно поддерживать и чем гордиться).
* Список слабых сторон (что требует немедленного внимания).
* Конкретные, выполнимые рекомендации по улучшению для каждой слабой стороны.
Оформи свой ответ в виде четких разделов с подзаголовками и маркированными списками. Используй деловой, но понятный язык.
Вот отзывы клиентов:
[
{"id": 1, "review": "Кофе просто божественный, лучший американо в городе! Но столик пришлось ждать 15 минут, очень тесно."},
{"id": 2, "review": "Очень уютно, музыка приятная. Но мой капучино был едва теплым."},
{"id": 3, "review": "Цены кусаются, конечно. Зато круассан был свежайший и очень вкусный."},
{"id": 4, "review": "Бариста был очень вежлив и помог с выбором. Кофе хороший, но ничего особенного."},
{"id": 5, "review": "Люблю здесь работать, атмосфера что надо. Но интернет постоянно отваливается."},
{"id": 6, "review": "Самый вкусный раф на кокосовом! И выпечка всегда свежая. Молодцы!"},
{"id": 7, "review": "Пришла в обед, была огромная очередь, бариста один не справлялся. Ушла, не дождавшись."},
{"id": 8, "review": "Чисто, приятно сидеть. Но кофе горький, как будто пережгли."},
{"id": 9, "review": "Круассаны у вас — это отвал башки! Но почему так дорого?"},
{"id": 10, "review": "Очень медленное обслуживание. Ждала свой латте 20 минут."}
]Этот промпт эффективен, потому что он в точности следует методологии из исследования, превращая LLM в системного аналитика:
- Назначение роли (
Ты — опытный маркетолог-аналитик) сразу задает нужный контекст и уровень экспертизы. Модель будет использовать соответствующую лексику и фокус. - Декомпозиция задачи (шаги 1-3) не позволяет модели дать поверхностный ответ. Она вынуждена сначала идентифицировать темы, затем проанализировать их, и только потом сформулировать выводы. Это имитирует мыслительный процесс человека-аналитика.
- Требования к формату (
четкие разделы с подзаголовками) гарантируют, что результат будет структурированным, читаемым и сразу готовым к использованию для принятия решений. Вместо сплошного текста вы получаете удобный отчет.
Представим, что вы хотите улучшить свое резюме для конкретной вакансии.
Ты — профессиональный HR-специалист и карьерный консультант с 10-летним опытом в IT-рекрутменте.
Тебе будет предоставлен текст моего текущего резюме и описание вакансии, на которую я хочу откликнуться.
Твоя задача — провести детальный анализ и дать рекомендации по улучшению моего резюме. Действуй по шагам:
1. **Проанализируй описание вакансии** и выдели 3-5 ключевых требований и навыков, которые ищет работодатель.
2. **Сравни мое резюме** с этими ключевыми требованиями. Определи, какие из моих навыков и опыта соответствуют вакансии, а где есть пробелы или недостаточная детализация.
3. **Предоставь персонализированные рекомендации** по адаптации резюме. Твои рекомендации должны включать:
* Какие конкретные проекты или достижения из моего опыта стоит вынести на первый план.
* Как переформулировать мои обязанности, чтобы они лучше соответствовали языку вакансии.
* Какие ключевые слова из описания вакансии необходимо добавить в мое резюме.
Оформи свой ответ в виде трех секций: "Ключевые требования вакансии", "Анализ соответствия резюме" и "План по улучшению резюме". Используй маркированные списки для наглядности.
**Мое резюме:**
[Вставить сюда текст вашего резюме]
**Описание вакансии:**
[Вставить сюда текст описания вакансии]Этот промпт работает по тем же самым причинам, что и предыдущий, демонстрируя универсальность подхода:
- Роль эксперта (
профессиональный HR-специалист) заставляет модель "думать" как рекрутер, обращая внимание на детали, которые важны для найма. - Четкая декомпозиция (
проанализируй вакансию -> сравни с резюме -> дай рекомендации) создает логическую цепочку действий. Модель не просто ищет совпадения, а проводит полноценный GAP-анализ (анализ расхождений), что является гораздо более сложной и ценной задачей. - Структурированный вывод (
секции "Ключевые требования...", "Анализ...", "План...") превращает ответ в пошаговое руководство к действию. Пользователь получает не просто критику, а конкретный план работы над своим резюме, что максимально практично.
Основные критерии оценки
- A. Релевантность техникам промтинга: Да, исследование предоставляет полный, структурированный шаблон промпта для сложной аналитической задачи.
- B. Улучшение качества диалоговых ответов: Да, предложенный подход напрямую нацелен на получение структурированных, подробных и практически полезных ответов вместо общих фраз.
- C. Прямая практическая применимость: Да, пользователь может немедленно скопировать и адаптировать структуру промпта для своих задач без каких-либо специальных инструментов или знаний в кодировании.
- D. Концептуальная ценность: Да, исследование наглядно демонстрирует мощь таких техник, как ролевая игра, декомпозиция задачи и явное указание формата вывода. Оно помогает понять, что LLM может выполнять сложные многошаговые инструкции в рамках одного запроса.
- E. Новая полезная практика: Работа попадает сразу в несколько кластеров:
- Кластер 1 (Техники формулирования): Ярко выраженная ролевая игра ("You are an intelligent tutoring assistant"), декомпозиция задачи на 3 четких шага.
- Кластер 3 (Оптимизация структуры): Прямое требование использовать секции, заголовки и списки в ответе.
- Кластер 5 (Извлечение и структурирование): Задача требует от модели извлечь "пробелы в знаниях" и структурировать их в виде анализа сильных/слабых сторон и рекомендаций.
Цифровая оценка полезности
Аргументы за высокую оценку (95): Исследование предоставляет практически идеальный "рецепт" для решения сложной аналитической задачи с помощью LLM. Оно не просто описывает теорию, а дает полный текст промпта, который можно использовать как универсальный шаблон. Методология "Роль -> Входные данные -> Декомпозиция задачи -> Формат вывода" является одной из самых мощных и универсальных в промт-инжиниринге, и данная работа — ее блестящая иллюстрация. Чек-лист практичности дает положительный ответ на большинство вопросов (+15 баллов), а четкость и немедленная применимость вывода соответствуют оценке 90-100.
Контраргументы (почему оценка могла бы быть ниже): * Основной фокус исследования — это сравнение (бенчмаркинг) моделей, а не разработка техник промптинга. Промпт здесь — инструмент, а не главный объект изучения. Пользователю нужно "вытащить" эту жемчужину из контекста бенчмаркинга. * Пример дан в узкоспециализированной области (образование, структуры данных), что может потребовать от пользователя усилий по адаптации к своим, более приземленным задачам.
Несмотря на контраргументы, практическая ценность представленного в статье промпта настолько высока и универсальна, что заслуживает оценки в топ-тире.