3,583 papers
arXiv:2607.11032 70 13 июля 2026 г. FREE

Design Problems Generator: промпт для создания сценарных вопросов, проверяющих перенос знаний

КЛЮЧЕВАЯ СУТЬ
Попроси LLM «придумай вопрос по теме X» — она перескажет твой же материал обратно: тот же контекст, те же термины, ноль проверки понимания. Design Problems Generator позволяет создавать сценарные задания, которые проверяют не память, а умение применить идею в незнакомой ситуации. Ключевое поле <project-description> — явный запрет на повтор исходного кейса — и модель вынуждена придумать сценарий из другой сферы, сохранив при этом нужный навык для проверки. Повтор исходного контекста оказался самой частой ошибкой в заданиях без этого ограничения — именно это зафиксировали авторы.
Адаптировать под запрос

TL;DR

LLM умеет генерировать сценарные вопросы, которые проверяют не "запомнил ли ты материал", а "можешь ли ты применить идею в незнакомой ситуации". Механика простая: ты даёшь модели описание темы и целей, а она создаёт короткий реалистичный сценарий в другом контексте — и задаёт вопрос, который требует анализа, оценки альтернатив или создания решения.

Проблема: стандартные вопросы типа "расскажи как работает X" проверяют только память. Человек может зазубрить и блестяще ответить, не понимая сути. А вот если поставить задачу в новой ситуации — скрыть нельзя. Создавать такие вопросы руками сложно и долго: нужно придумать живой контекст, убрать подсказки, выверить сложность.

Решение: промпт с XML-структурой, который превращает LLM в генератор сценарных заданий. Ты передаёшь тему, цели и технологии — модель придумывает свежий контекст, который требует анализа и обоснования решений. Всё в одном запросе.


🔬

Схема метода

Один запрос с XML-полями:

   → что человек должен уметь
   → описание исходной задачи/темы
          → ключевые концепции и инструменты
     → конкретное умение, которое хочешь проверить

→ Вывод: Scenario + Problem
   Scenario — реалистичный контекст в НОВОЙ предметной области
   Problem  — вопрос, требующий анализа, оценки или проектирования

Всё в одном промпте. Отдельных запросов не нужно.


🚀

Пример применения

Задача: Руслан ведёт курс по переговорам для менеджеров. Хочет создать задание для итогового экзамена — не "расскажи BATNA", а задачу, где студент сам должен рассуждать.

Промпт:

Ты — эксперт по разработке учебных заданий.
Создай короткое экзаменационное задание для проверки навыка переговоров.

Формат задания:
- Начни с короткого реалистичного сценария
- Сценарий — в ДРУГОМ контексте, не в том, который разбирали на курсе
- Задание проверяет анализ ситуации, оценку вариантов и обоснование решений —
  не просто знание терминов
- Ожидаемый ответ: 3–5 предложений
- Без подсказок на правильное решение
- Объясни незнакомые термины в сценарии, если они есть

Вот детали курса:


Менеджер умеет определять зоны торга, оценивать альтернативы и
строить стратегию уступок.



Мы разбирали переговоры о повышении зарплаты: как определить BATNA,
якорить первым, управлять уступками.



BATNA, зона возможного соглашения (ZOPA), якорение, принцип взаимности,
принцип «разделить пирог»



Оценить альтернативы и аргументировать стратегию уступок в условиях
неравных позиций сторон.


Формат ответа:
Сценарий: <краткое описание контекста>
Задание: <конкретный вопрос>

Результат: Модель придумает сценарий из другой сферы — например, переговоры между стартапом и поставщиком, или между малым бизнесом и торговой сетью. Сценарий будет содержать конкретные цифры и условия. Задание потребует от студента не вспомнить термин, а применить логику: определить позиции сторон, оценить альтернативы, обосновать шаги. Никаких подсказок в тексте — только контекст для размышления.


🧠

Почему это работает

LLM плохо справляется с "придумай хороший вопрос" — без структуры она генерирует что-то банальное или слишком похожее на исходный материал. Слишком расплывчато, нет ориентира.

Когда ты даёшь XML-поля, каждое поле заужает задачу. говорит модели что проверяем. говорит откуда не копировать. задаёт конкретный skill. Без этих ограничений модель "уходит" в пересказ исходной темы — именно это авторы называли самой частой ошибкой в сгенерированных вопросах.

Рычаги управления: - Уровень сложности — добавь в инструкции "сценарий должен требовать решения трёх взаимосвязанных аспектов" для сложных заданий, или "один аспект" для базовых - Новизна контекста — уточни "сценарий из [конкретной сферы]", если хочешь предсказуемый домен - Длина ответа — замени "3–5 предложений" на "один абзац" или "список из 4 пунктов" - Проверка качества — после генерации попроси модель оценить своё задание по пяти критериям (таблица ниже)


📋

Шаблон промпта

Ты — эксперт по разработке учебных заданий.
Создай короткое экзаменационное задание для проверки {навык_или_тема}.

Формат задания:
- Начни с короткого реалистичного сценария
- Сценарий — в ДРУГОМ контексте, не в том, который разбирали при обучении
- Задание проверяет анализ ситуации, оценку вариантов и обоснование
  решений — не просто знание терминов
- Ожидаемый ответ: {длина_ответа}
- Без подсказок на правильное решение
- Объясни незнакомые термины в сценарии, если они есть

Вот детали:


{чему должен научиться человек}



{что изучали: тему, кейс, пример из которого нельзя копировать}



{ключевые концепции, инструменты, методы из обучения}



{конкретное умение, которое хочешь проверить этим заданием}


Формат ответа:
Сценарий: <краткое описание контекста>
Задание: <конкретный вопрос>

Что подставлять: - {навык_или_тема} — коротко: "стратегическое планирование", "работа с возражениями", "анализ рисков" - {длина_ответа} — "3–5 предложений" / "один абзац" / "200–300 слов" - — итог обучения: что человек умеет делать после курса - — конкретный кейс, который разбирали: важно написать достаточно, чтобы модель НЕ повторяла его в задании - — ключевые концепции и инструменты, которые нужно применить в задании - — один конкретный навык, который проверяет это задание


🚀 Быстрый старт — вставь в чат:

Вот шаблон для создания сценарного экзаменационного задания.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит про тему обучения, цели и ключевые концепции — потому что без этого она не сможет сгенерировать сценарий в другом контексте, который всё равно проверяет нужный навык.


📌

Шаблон для оценки готового задания

После генерации можно попросить модель оценить результат по пяти критериям из исследования:

Оцени задание выше по пяти критериям (Да / Частично / Нет):

1. Качество сценария — реалистичный, богатый деталями, помогает
   применить знания из обучения в новом контексте?
2. Соответствие целям — охватывает нужные навыки полностью,
   без лишних или пропущенных?
3. Когнитивная сложность — требует анализа, оценки альтернатив
   или создания решения — не просто вспомнить факт?
4. Ясность — чётко сформулировано, не допускает двусмысленности?
5. Выполнимость — реально решить за 30 минут с имеющимися знаниями?

Укажи критерии, которые не прошли, и предложи правки.

⚠️

Ограничения

⚠️ Повтор исходного контекста: Модель иногда генерирует сценарий, слишком похожий на исходный материал. Следи: если сценарий звучит как пересказ того, что уже изучали — попроси сгенерировать заново с пометкой "сценарий из другой отрасли".

⚠️ Слишком узкий фокус: Задание может зацепить только один аспект темы, оставив остальные нетронутыми. Решается уточнением в — чем конкретнее, тем лучше.

⚠️ Неявные подсказки: Модель иногда встраивает в сценарий термины, которые прямо намекают на решение. Используй шаблон оценки выше для проверки.

⚠️ Сложные технические темы: Чем более специализирована область, тем выше риск фактических ошибок в сценарии. Всегда проверяй содержательную точность.


🔗

Ресурсы

Статья: LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning DOI: https://doi.org/10.1145/3795867.3831014 Авторы: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida Организация: Rochester Institute of Technology, Rochester, NY, USA Конференция: SIGCSE Virtual 2026


📋 Дайджест исследования

Ключевая суть

Попроси LLM «придумай вопрос по теме X» — она перескажет твой же материал обратно: тот же контекст, те же термины, ноль проверки понимания. Design Problems Generator позволяет создавать сценарные задания, которые проверяют не память, а умение применить идею в незнакомой ситуации. Ключевое поле <project-description> — явный запрет на повтор исходного кейса — и модель вынуждена придумать сценарий из другой сферы, сохранив при этом нужный навык для проверки. Повтор исходного контекста оказался самой частой ошибкой в заданиях без этого ограничения — именно это зафиксировали авторы.

Принцип работы

Запрос «сделай сложный вопрос» сам по себе ничего не даёт. Без структуры модель воспроизводит то, что уже есть в промпте — исходный кейс и его контекст. XML-поля работают как набор барьеров: <learning-objectives> говорит что проверяем, <project-description> говорит откуда не копировать, <target-objectives> задаёт один конкретный навык — не размажешь всё сразу. Попав в эти рамки, модель уже не пересказывает — она вынуждена изобретать новый контекст с теми же требованиями.

Почему работает

LLM тяготеет к тому, что уже есть в промпте. Дал описание кейса про зарплатные переговоры — получишь вопрос про зарплатные переговоры. Поле <project-description> превращается в явный маркер «не ходи сюда» — именно этот контраст между «вот что изучали» и «сделай по-другому» запускает генерацию свежего сценария. Без этого поля модель воспроизводила исходный материал в большинстве случаев — авторы называли это главным провалом неструктурированных запросов.

Когда применять

Образование — экзаменационные задания и итоговые кейсы, которые нельзя списать знанием терминов. HR — интервью на применение навыков, а не на умение красиво говорить про методологии. Корпоративные тренинги — проверка что сотрудник может применить, а не просто прослушал курс. НЕ подходит для тестирования фактических знаний — дат, определений, формул. Там как раз нужна проверка памяти, а не переноса.

Мини-рецепт

1. Заполни четыре поля: <learning-objectives> — что человек умеет делать после обучения; <project-description> — кейс который разбирали (пиши подробно, чтобы модель точно не повторила его); <technologies> — ключевые концепции и методы; <target-objectives> — один конкретный навык для проверки, не три сразу.
2. Запусти промпт и проверь: сценарий должен быть из другой сферы, без подсказок на решение в тексте.
3. Если модель всё равно повторила исходный кейс — добавь явное указание: «сценарий из другой отрасли, например строительство / медицина / розничная торговля».
4. Для проверки качества попроси модель оценить своё задание по пяти критериям: реалистичность сценария, соответствие целям, глубина рассуждения (анализ, а не вспомнить факт), ясность формулировки, выполнимость за 30 минут. Если что-то не прошло — попроси переработать именно этот пункт.

Примеры

[ПЛОХО] : Объясни что такое BATNA и приведи пример из зарплатных переговоров
[ХОРОШО] : Ты — эксперт по разработке учебных заданий. Создай задание для проверки навыка переговоров. Формат: - Начни с короткого реалистичного сценария - Сценарий — в другом контексте, не в том, который разбирали - Задание проверяет анализ ситуации и обоснование решений, не знание терминов - Ожидаемый ответ: 3–5 предложений - Без подсказок на правильное решение Менеджер умеет определять зоны торга и строить стратегию уступок. Мы разбирали переговоры о повышении зарплаты: BATNA, якорение, управление уступками. BATNA, зона возможного соглашения (ZOPA), якорение, принцип взаимности Оценить альтернативы и обосновать стратегию уступок при неравных позициях сторон. Формат ответа: Сценарий: <краткое описание контекста> Задание: <конкретный вопрос>
Источник: LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning
ArXiv ID: 2607.11032 | Сгенерировано: 2026-07-14 06:32

Проблемы LLM

ПроблемаСутьКак обойти
Без ограничений модель копирует исходный контекстПросишь "создай вопрос по теме X". Модель генерирует что-то похожее на исходный материал. Студент отвечает по памяти — глубины не нужно. Проблема для любой задачи где нужен новый контекст: учебные задания, тест на собеседовании, кейс для тренингаДай модели исходный материал и явно запрети его использовать. Не "придумай новое", а "вот откуда нельзя брать — придумай другое". Модель использует это как чёткую границу

Методы

МетодСуть
Поле "запретный источник" — сценарий в новом контекстеДай модели описание исходного материала и скажи: "сценарий — в ДРУГОМ контексте, не в том, который разбирали". Добавь конкретный навык для проверки: — откуда не копировать, — что именно проверяешь. Почему работает: отрицательное ограничение точнее положительного запроса. "Придумай новое" — расплывчато. "Не используй вот это" — чёткая граница, модель знает куда не идти. Когда применять: создание заданий, кейсов, вопросов для собеседований, тестов для курсов. Когда не работает: узкоспециализированные технические темы — модель может ошибиться в деталях сценария, нужна проверка
📖 Простыми словами

LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

arXiv: 2607.11032

Суть в том, что обычные тесты — это полная фигня, которая проверяет только твою способность зубрить. Исследователи придумали, как запрячь нейронки создавать сценарные вопросы, которые бьют прямо в мозг. Механика тут простая: LLM берет сухую теорию и переупаковывает её в реальную жизненную ситуацию, но в совершенно другом контексте. Это заставляет человека не вспоминать определение, а включать мышление высокого порядка — анализировать, сравнивать варианты и буквально выкручиваться из сложной ситуации, используя знания как инструмент, а не как мертвый груз.

Это как если бы ты учился водить машину на симуляторе, а на экзамене тебя внезапно высадили посреди джунглей на раздолбанном внедорожнике и сказали: «Езжай». Принципы те же, но декорации другие, и тебе приходится реально соображать, как применить теорию сцепления, чтобы не улететь в кювет. Формально правила те же, но уровень стресса и необходимости думать головой — в разы выше, чем при ответе на вопрос «что такое педаль тормоза».

Чтобы это реально взлетело, используется структурированная генерация. Сначала ты скармливаешь модели учебные цели, потом задаешь контекстный сдвиг (например, переносишь переговоры из офиса в лагерь беженцев), и на выходе получаешь задачу, где нужно оценить альтернативы или создать решение с нуля. Главное здесь — оценка альтернатив и создание решения, потому что просто пересказать учебник в таких условиях не получится. Модель не просто «придумывает вопрос», она конструирует логическую ловушку, из которой можно выбраться только с помощью знаний.

Тестировали это на проектном обучении, но принцип универсален: от корпоративных тренингов до школьной программы. Вместо того чтобы спрашивать менеджера, что такое BATNA, ты кидаешь его в сценарий, где сделка разваливается, и он должен сам догадаться применить этот метод, чтобы спасти ситуацию. SEO для мозгов больше не работает — теперь нужно доказывать, что ты понимаешь суть, а не просто умеешь гуглить правильные слова.

Короче: хватит мучить людей тестами с вариантами А, Б и В — это путь в никуда. Используй LLM, чтобы создавать динамические сценарии, которые проверяют реальный навык, а не память. Контекстный перенос и анализ альтернатив — это единственный способ понять, действительно ли человек разобрался в теме или он просто хорошо притворяется умным. Кто начнет внедрять такие проверки сейчас, получит спецов, которые умеют решать проблемы, а не просто сдавать отчеты.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с