Датасет StudyChat: диалоги студентов с ChatGPT на курсе искусственного интеллекта

Исследование анализирует тысячи диалогов студентов с чат-ботом на базе ChatGPT в рамках учебного курса по ИИ. Авторы классифицировали типы запросов студентов и сопоставили их с итоговыми оценками за задания и экзамены. Было обнаружено, что студенты, использующие LLM для получения концептуальных объяснений и помощи в написании кода, показывают лучшие результаты, в то время как те, кто просит модель написать за них отчеты или готовые решения, в итоге хуже справляются с экзаменами.

Ключевой результат: Использование LLM в качестве партнера для обучения и рассуждений гораздо эффективнее для конечного результата пользователя, чем использование его в качестве "черного ящика", который просто выдает готовый ответ.

Суть исследования сводится к разделению пользователей на два условных типа по их стилю промптинга и демонстрации, какой из них выигрывает в долгосрочной перспективе.

1. "Ученик" (эффективный подход): Этот пользователь использует LLM как наставника или эксперта-консультанта. Его промпты направлены на понимание сути проблемы.

   • Типы запросов: "Объясни концепцию X простыми словами", "Какие есть подходы к решению задачи Y?", "Почему этот фрагмент кода работает именно так?", "Какие плюсы и минусы у этого метода?".
   • Результат: Пользователь получает знания и навыки, которые позволяют ему самостоятельно выполнить задачу и лучше разбираться в теме. Исследование показывает, что такой подход коррелирует с высокими оценками на экзаменах (где LLM уже недоступен).

2. "Делегат" (неэффективный подход): Этот пользователь относится к LLM как к исполнителю, которому можно поручить работу. Его промпты направлены на получение готового конечного продукта.

   • Типы запросов: "Напиши отчет на тему Z", "Дай готовое решение для этой задачи", "Перепиши этот текст".
   • Результат: Пользователь получает быстрый, но поверхностный результат, обходя процесс обучения и осмысления. Это ведет к плохим результатам, когда требуется продемонстрировать собственное понимание (например, на экзамене или собеседовании).

Практическая методика, вытекающая из исследования: Всегда стремитесь формулировать промпты в стиле "Ученика". Вместо того чтобы просить LLM сделать работу за вас, просите его помочь вам научиться делать эту работу. Разбивайте большую задачу на концептуальные подзадачи и задавайте вопросы по каждой из них. Особенно осторожно относитесь к запросам, связанным с точными науками (как математика в исследовании), и используйте LLM для получения общего понимания, а не для пошаговых вычислений.

• Прямая применимость: Любой пользователь может немедленно пересмотреть свой подход к промптингу. Вместо запроса "Напиши пост для блога о пользе медитации" можно использовать серию запросов: "Какова целевая аудитория для постов о медитации?", "Какие 5 ключевых преимуществ медитации стоит осветить?", "Предложи три варианта структуры для такого поста", "Какой заголовок будет самым цепляющим?". Это напрямую следует из выводов исследования.

• Концептуальная ценность: Исследование дает ключевую концептуальную идею: LLM — это усилитель интеллекта, а не его заменитель. Оно помогает понять, что истинная сила этих инструментов не в генерации готового текста, а в способности быстро предоставлять структурированную информацию, разные точки зрения и идеи, которые пользователь затем использует для создания собственного, более качественного продукта.

• Потенциал для адаптации: Принцип универсален и легко адаптируется.

  • Маркетолог: Вместо "Напиши рекламный слоган" → "Проанализируй слоганы конкурентов. Какие паттерны они используют? Предложи 5 креативных направлений для нашего слогана, основанных на ценностях нашего бренда".
  • Менеджер: Вместо "Напиши письмо команде о новом проекте" → "Помоги структурировать анонс нового проекта. Какие ключевые моменты я должен включить? Какие возможные вопросы возникнут у команды? Предложи варианты ответов на них".

Представим, что пользователю нужно подготовиться к выступлению на конференции на тему "Будущее городской мобильности".

Ты — опытный стратег и эксперт по городскому планированию. Моя задача — подготовить 10-минутное выступление на тему "Будущее городской мобильности".

Помоги мне разобраться в теме, а не пиши текст за меня. Действуй пошагово.

**Шаг 1: Ключевые концепции**
Определи 3-4 основных тренда, которые формируют будущее городской мобильности (например, микромобильность, беспилотный транспорт, MaaS - Mobility as a Service). Для каждого тренда кратко объясни его суть в 1-2 предложениях.

**Шаг 2: Структура выступления**
Предложи логичную структуру для 10-минутного выступления, которая будет включать:
- Цепляющее вступление (1 минута)
- Обзор ключевых трендов (6 минут)
- Вызовы и барьеры (2 минуты)
- Вдохновляющее заключение (1 минута)

**Шаг 3: Аргументы и контр-аргументы**
Для тренда "беспилотный транспорт" приведи 2 сильных аргумента "за" (например, безопасность, эффективность) и 2 весомых контр-аргумента или вызова (например, законодательство, кибербезопасность).

**Шаг 4: Поиск данных**
Подскажи, какие типы данных или статистики будут наиболее убедительно смотреться в презентации по этой теме (например, рост числа электросамокатов, прогнозы по внедрению беспилотников).

После твоего ответа я задам уточняющие вопросы по каждому пункту.

Этот промпт полностью построен на "эффективной" стратегии, выявленной в исследовании:

1. Роль "Ученика": Фраза "Помоги мне разобраться в теме, а не пиши текст за меня" явно задает нужный тон взаимодействия. Пользователь позиционирует себя как человек, который хочет научиться, а не делегировать.
2. Запрос на концепции: Вместо "напиши выступление", промпт запрашивает ключевые концепции, тренды, аргументы и структуру. Это строительные блоки, из которых пользователь сам соберет уникальное выступление.
3. Декомпозиция задачи: Сложная задача "подготовить выступление" разбита на управляемые шаги (концепции, структура, аргументы). Это позволяет глубже проработать каждый аспект с помощью LLM.
4. Интерактивность: Указание "После твоего ответа я задам уточняющие вопросы" превращает взаимодействие в диалог, что способствует более глубокому погружению в тему, а не получению одноразового ответа.

Задача: Пользователь хочет начать правильно питаться и составить план питания на неделю.

Выступи в роли опытного диетолога-консультанта. Я хочу улучшить свое питание, но не знаю, с чего начать. Моя цель — не получить готовую диету, а понять принципы и составить гибкий план для себя.

Помоги мне, отвечая на вопросы по шагам.

**1. Определение базовых принципов:**
Объясни простыми словами 3-4 фундаментальных принципа здорового питания для офисного работника с умеренной активностью (например, баланс БЖУ, важность клетчатки, питьевой режим).

**2. Конструктор приемов пищи:**
Вместо готового меню, предложи мне "конструктор". Для каждого приема пищи (завтрак, обед, ужин) дай по 3-4 варианта из разных категорий:
- **Источник белка:** (например, куриная грудка, творог, чечевица)
- **Источник сложных углеводов:** (например, гречка, бурый рис, цельнозерновой хлеб)
- **Источник клетчатки:** (например, свежие овощи, листовая зелень)

**3. Идеи для здоровых перекусов:**
Предложи 5 идей для полезных перекусов, которые легко взять с собой в офис.

**4. Распространенные ошибки:**
Назови 3 самые частые ошибки, которые совершают новички при переходе на здоровое питание, и как их избежать.

Твоя задача — дать мне знания и инструменты для самостоятельного планирования.

Этот промпт эффективен, так как он переводит фокус с пассивного получения информации на активное обучение и создание системы для себя.

1. Запрос на "понимание принципов": Промпт явно указывает: "цель — не получить готовую диету, а понять принципы". Это заставляет LLM работать в режиме наставника, а не генератора меню.
2. Метод "Конструктора": Вместо статичного плана ("в понедельник ешь курицу с гречкой"), промпт запрашивает "конструктор". Это дает пользователю гибкость и учит его самостоятельно комбинировать продукты, что является ключевым навыком для долгосрочного поддержания здорового питания.
3. Проактивное управление рисками: Запрос "Распространенные ошибки" помогает пользователю предвидеть и избежать потенциальных проблем. Это более глубокий уровень консультации, чем простое предоставление списка продуктов.
4. Формирование навыка: Вся структура промпта направлена на то, чтобы после взаимодействия с LLM у пользователя появился не просто план на неделю, а понимание, как составлять такие планы в будущем самостоятельно. Это полностью соответствует выводам исследования об эффективности использования LLM для обучения.