TL;DR
LLM умеет генерировать сценарные вопросы, которые проверяют не "запомнил ли ты материал", а "можешь ли ты применить идею в незнакомой ситуации". Механика простая: ты даёшь модели описание темы и целей, а она создаёт короткий реалистичный сценарий в другом контексте — и задаёт вопрос, который требует анализа, оценки альтернатив или создания решения.
Проблема: стандартные вопросы типа "расскажи как работает X" проверяют только память. Человек может зазубрить и блестяще ответить, не понимая сути. А вот если поставить задачу в новой ситуации — скрыть нельзя. Создавать такие вопросы руками сложно и долго: нужно придумать живой контекст, убрать подсказки, выверить сложность.
Решение: промпт с XML-структурой, который превращает LLM в генератор сценарных заданий. Ты передаёшь тему, цели и технологии — модель придумывает свежий контекст, который требует анализа и обоснования решений. Всё в одном запросе.
Схема метода
Один запрос с XML-полями:
→ что человек должен уметь
→ описание исходной задачи/темы
→ ключевые концепции и инструменты
→ конкретное умение, которое хочешь проверить
→ Вывод: Scenario + Problem
Scenario — реалистичный контекст в НОВОЙ предметной области
Problem — вопрос, требующий анализа, оценки или проектирования
Всё в одном промпте. Отдельных запросов не нужно.
Пример применения
Задача: Руслан ведёт курс по переговорам для менеджеров. Хочет создать задание для итогового экзамена — не "расскажи BATNA", а задачу, где студент сам должен рассуждать.
Промпт:
Ты — эксперт по разработке учебных заданий.
Создай короткое экзаменационное задание для проверки навыка переговоров.
Формат задания:
- Начни с короткого реалистичного сценария
- Сценарий — в ДРУГОМ контексте, не в том, который разбирали на курсе
- Задание проверяет анализ ситуации, оценку вариантов и обоснование решений —
не просто знание терминов
- Ожидаемый ответ: 3–5 предложений
- Без подсказок на правильное решение
- Объясни незнакомые термины в сценарии, если они есть
Вот детали курса:
Менеджер умеет определять зоны торга, оценивать альтернативы и
строить стратегию уступок.
Мы разбирали переговоры о повышении зарплаты: как определить BATNA,
якорить первым, управлять уступками.
BATNA, зона возможного соглашения (ZOPA), якорение, принцип взаимности,
принцип «разделить пирог»
Оценить альтернативы и аргументировать стратегию уступок в условиях
неравных позиций сторон.
Формат ответа:
Сценарий: <краткое описание контекста>
Задание: <конкретный вопрос>
Результат: Модель придумает сценарий из другой сферы — например, переговоры между стартапом и поставщиком, или между малым бизнесом и торговой сетью. Сценарий будет содержать конкретные цифры и условия. Задание потребует от студента не вспомнить термин, а применить логику: определить позиции сторон, оценить альтернативы, обосновать шаги. Никаких подсказок в тексте — только контекст для размышления.
Почему это работает
LLM плохо справляется с "придумай хороший вопрос" — без структуры она генерирует что-то банальное или слишком похожее на исходный материал. Слишком расплывчато, нет ориентира.
Когда ты даёшь XML-поля, каждое поле заужает задачу. говорит модели что проверяем. говорит откуда не копировать. задаёт конкретный skill. Без этих ограничений модель "уходит" в пересказ исходной темы — именно это авторы называли самой частой ошибкой в сгенерированных вопросах.
Рычаги управления: - Уровень сложности — добавь в инструкции "сценарий должен требовать решения трёх взаимосвязанных аспектов" для сложных заданий, или "один аспект" для базовых - Новизна контекста — уточни "сценарий из [конкретной сферы]", если хочешь предсказуемый домен - Длина ответа — замени "3–5 предложений" на "один абзац" или "список из 4 пунктов" - Проверка качества — после генерации попроси модель оценить своё задание по пяти критериям (таблица ниже)
Шаблон промпта
Ты — эксперт по разработке учебных заданий.
Создай короткое экзаменационное задание для проверки {навык_или_тема}.
Формат задания:
- Начни с короткого реалистичного сценария
- Сценарий — в ДРУГОМ контексте, не в том, который разбирали при обучении
- Задание проверяет анализ ситуации, оценку вариантов и обоснование
решений — не просто знание терминов
- Ожидаемый ответ: {длина_ответа}
- Без подсказок на правильное решение
- Объясни незнакомые термины в сценарии, если они есть
Вот детали:
{чему должен научиться человек}
{что изучали: тему, кейс, пример из которого нельзя копировать}
{ключевые концепции, инструменты, методы из обучения}
{конкретное умение, которое хочешь проверить этим заданием}
Формат ответа:
Сценарий: <краткое описание контекста>
Задание: <конкретный вопрос>
Что подставлять:
- {навык_или_тема} — коротко: "стратегическое планирование", "работа с возражениями", "анализ рисков"
- {длина_ответа} — "3–5 предложений" / "один абзац" / "200–300 слов"
- — итог обучения: что человек умеет делать после курса
- — конкретный кейс, который разбирали: важно написать достаточно, чтобы модель НЕ повторяла его в задании
- — ключевые концепции и инструменты, которые нужно применить в задании
- — один конкретный навык, который проверяет это задание
🚀 Быстрый старт — вставь в чат:
Вот шаблон для создания сценарного экзаменационного задания.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про тему обучения, цели и ключевые концепции — потому что без этого она не сможет сгенерировать сценарий в другом контексте, который всё равно проверяет нужный навык.
Шаблон для оценки готового задания
После генерации можно попросить модель оценить результат по пяти критериям из исследования:
Оцени задание выше по пяти критериям (Да / Частично / Нет):
1. Качество сценария — реалистичный, богатый деталями, помогает
применить знания из обучения в новом контексте?
2. Соответствие целям — охватывает нужные навыки полностью,
без лишних или пропущенных?
3. Когнитивная сложность — требует анализа, оценки альтернатив
или создания решения — не просто вспомнить факт?
4. Ясность — чётко сформулировано, не допускает двусмысленности?
5. Выполнимость — реально решить за 30 минут с имеющимися знаниями?
Укажи критерии, которые не прошли, и предложи правки.
Ограничения
⚠️ Повтор исходного контекста: Модель иногда генерирует сценарий, слишком похожий на исходный материал. Следи: если сценарий звучит как пересказ того, что уже изучали — попроси сгенерировать заново с пометкой "сценарий из другой отрасли".
⚠️ Слишком узкий фокус: Задание может зацепить только один аспект темы, оставив остальные нетронутыми. Решается уточнением в
— чем конкретнее, тем лучше.
⚠️ Неявные подсказки: Модель иногда встраивает в сценарий термины, которые прямо намекают на решение. Используй шаблон оценки выше для проверки.
⚠️ Сложные технические темы: Чем более специализирована область, тем выше риск фактических ошибок в сценарии. Всегда проверяй содержательную точность.
Ресурсы
Статья: LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning DOI: https://doi.org/10.1145/3795867.3831014 Авторы: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida Организация: Rochester Institute of Technology, Rochester, NY, USA Конференция: SIGCSE Virtual 2026
