Структурированный фидбек от AI: как студенты-физики получали помощь с аргументами

Один промпт с чёткой структурой:

БЛОК 1: Роль эксперта
↓
БЛОК 2: Контекст задачи (что нужно было сделать)
↓ 
БЛОК 3: Твой ответ [вставить сюда]
↓
БЛОК 4: Структура фидбека
→ Правильный ответ
→ Твой ответ (плюсы и минусы) 
→ Разрыв между ними
→ 3 конкретных совета на будущее
→ Лимит 200 слов

Всё в одном запросе к AI.

Задача: Ты готовишься к собеседованию в IT-компанию. Прорешал тестовое задание — написал код на Python для обработки данных клиентов. Нужен фидбек: правильно ли решил, где косяки, что улучшить перед отправкой.

Промпт:

Ты — опытный Python-разработчик и твоя задача — дать мне фидбек на моё решение тестового задания.

Задача: написать скрипт для парсинга CSV-файла с данными клиентов, фильтрации по статусу "активный" и экспорта в JSON. Нужно обработать ошибки и оптимизировать по времени.

Вот моё решение:

[вставить код]

Дай фидбек, явно выделив:
- Правильное решение (как надо было)
- Моё решение (сильные и слабые стороны)
- Разрыв между ними (что упустил)
- 3 конкретных совета, как улучшить подход к похожим задачам

Уложись в 200 слов.

Результат: AI разобьёт ответ на блоки: покажет эталонный подход (например, использование pandas вместо ручного парсинга), отметит плюсы твоего кода (обработка ошибок есть) и минусы (медленный цикл for), укажет что именно упущено (индексация, типизация), предложит три шага — изучить библиотеки для работы с данными, добавить логирование, покрыть тестами. Всё структурировано, без воды.

Слабость пользователей: Люди пишут промпты как SMS другу — "посмотри мой код", "проверь этот текст". AI отвечает общими фразами: "хорошо, но можно лучше", "добавь деталей". Почему? Модель не знает (1) что ты хотел получить, (2) где конкретно твои ошибки, (3) в каком формате тебе удобно читать фидбек. Без структуры — размазанный ответ на две страницы.

Сильная сторона AI: Модель отлично следует чётким инструкциям и форматирует вывод. Если прописать "выдели сильные стороны отдельным пунктом" — выделит. Если указать "200 слов" — уложится. Если попросить "три конкретных совета списком" — так и сделает. AI умеет в структуру, но нужно её задать.

Как метод использует силу: Промпт явно прописывает три компонента эффективного фидбека (что правильно → что у тебя → как закрыть разрыв) и формат вывода (лимит слов, списки). Это превращает размытый ответ в конкретный разбор с actionable steps. Ты получаешь не "в целом норм, почитай про оптимизацию", а "строка 15 — используй list comprehension вместо цикла, строка 23 — добавь обработку исключения FileNotFoundError, в будущем — изучи модуль logging".

Рычаги управления промптом:

• Длина фидбека — "200 слов" делает ответ фокусным. Убери лимит → получишь портянку. Уменьши до 100 → только суть.
• Количество советов — "3 совета" даёт конкретику. Попроси 5 → часть будет размытой. Попроси 1 → только самое критичное.
• Роль эксперта — "опытный разработчик" → технический фидбек. Замени на "тимлид, который нанимает джунов" → фидбек сместится на читаемость кода и стиль.
• Формат вывода — "списком" vs "связным текстом". Список удобнее для чеклиста, текст — для понимания связей между ошибками.

Ты — {роль эксперта} и твоя задача — дать мне фидбек на {что проверяешь}.

Задача: {описание что нужно было сделать — контекст}.

Вот {моё решение/текст/аргумент}:

{вставить сюда}

Дай фидбек, явно выделив:
- Правильное решение (эталон)
- Моё решение (сильные и слабые стороны)
- Разрыв между ними (что упустил или сделал неправильно)
- {число} конкретных совета, как улучшить подход к похожим задачам

Уложись в {число} слов.

Что подставлять:

• {роль эксперта} — кто должен проверять: "опытный маркетолог", "юрист по договорам", "редактор деловых текстов"
• {что проверяешь} — "моё коммерческое предложение", "черновик статьи", "план презентации"
• {описание задачи} — зачем это нужно, какие требования, для кого
• {моё решение} — твой текст, код, аргумент, план
• {число} советов — обычно 3, можно больше для сложных задач
• {число} слов — обычно 150-250, можно меньше для быстрого разбора

🚀 Быстрый старт — вставь в чат:

Вот шаблон структурированного фидбека от AI. Адаптируй под мою задачу: [опиши свою ситуацию]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

AI спросит роль эксперта (кто должен проверять), контекст задачи (что нужно было сделать), что именно проверить — потому что эти элементы критичны для точного фидбека. Она возьмёт структуру из шаблона (Feed Up + Feed Back + Feed Forward) и подставит под твою задачу.

⚠️ Субъективные критерии: Метод хорош для задач с чёткими критериями правильности — код, расчёты, структура аргумента. Для креатива (дизайн, стихи, юмор) AI даст фидбек, но "правильный ответ" будет размытым.

⚠️ Самостоятельная работа: Студенты, которые предпочли самопальные промпты (9%), ценили концептуальные объяснения больше структуры. Если хочешь глубокое погружение в теорию, а не чеклист ошибок — структурированный фидбек может показаться механистичным.

⚠️ Контекстная интуиция AI ≠ точность: Модели умеют догадываться о контексте из неполных промптов, но это не гарантирует правильный фидбек. Без явного описания задачи AI может понять что ты про гравитацию, но не заметить что ты перепутал знак в формуле.

Команда дала 1661 студенту вводного курса физики задачу: построить аргумент (Claim-Evidence-Reasoning) про физический смысл наклона графика гравитационной потенциальной энергии спутника. Студенты сначала написали свой аргумент, потом попросили AI проверить его тремя способами: (1) своим промптом, (2) готовым промптом с техниками промпт-инженеринга, (3) готовым промптом с техниками + принципами эффективного фидбека. После этого ранжировали три типа фидбека по полезности и объясняли почему.

Исследователи закодировали студенческие промпты по четырём техникам промпт-инженеринга (инструкции, ясность, роль эксперта, делимитеры) и вытащили из объяснений 12 характеристик полезного фидбека через emergent coding. Получилось 4 темы: Evaluation (похвала, критика, советы), Content (правильный ответ, концепции, структура аргумента), Presentation (ясность, структура, краткость, понятность), Depth (детальность, специфичность).

Почему результаты получились именно такими: 91% студентов выбрали структурированные промпты (B или C), потому что их самопальные промпты были слабыми — только 62% описали контекст И приложили свой ответ одновременно, почти никто не использовал role-based prompting (6 человек из 1235!) или делимитеры (3 человека!). AI часто компенсировала неполноту промптов "контекстной интуицией" (в 97% случаев догадалась о чём речь), но это не гарантировало качественный фидбек — в 8 случаях AI попросила уточнений, в остальных выдала общие слова вместо конкретной критики.

Что удивило: Студенты, предпочитавшие самопальные промпты (9%), ценили концептуальные объяснения физических принципов (45.4% упомянули) больше чем критику или советы. Это показывает разрыв между тем, что считают полезным разные группы — одним нужен чеклист ошибок, другим — глубокое объяснение теории. Это объясняет почему не было одной характеристики фидбека, которую ценили бы все.

Инсайт для практики: Если хочешь качественный фидбек от AI — не надейся на её интуицию. Пропиши роль эксперта, контекст задачи, свой ответ и структуру фидбека явно. Разница в 30 секунд на составление промпта даёт разницу между "в целом норм" и конкретным разбором с action items.

Контекст: Это два промпт-шаблона, которые исследователи дали студентам. Feedback B использует техники промпт-инженеринга, Feedback C добавляет принципы эффективной обратной связи.

Feedback B:

You are an expert physicist and your objective is to give feedback on my answer which is presented as an argument with a claim, evidence and reasoning about a physics problem.

The problem involves identifying the physical significance of a graph's slope with the gravitational potential energy of a satellite (U) plotted on y-axis and the satellite's distance from the planet's center (r) on x-axis.

The following is my answer (argument):
[INSERT YOUR ARGUMENT HERE].

Provide relevant and useful feedback for my argument.

Feedback C:

You are an expert physicist and your objective is to give feedback on my answer which is presented as an argument with a claim, evidence and reasoning about a physics problem.

The problem involves identifying the physical significance of a graph's slope with the gravitational potential energy of a satellite (U) plotted on y-axis and the satellite's distance from the planet's center (r) on x-axis.

The following is my answer (argument):
[INSERT YOUR ARGUMENT HERE].

Provide feedback by explicitly highlighting the correct answer, my provided answer (including strengths and limitations), and gaps (if any) between them within 200 words. Also suggest three potential ways through a bulleted list which can help me improve my performance on similar questions in future.

💡 Адаптация для саморедактуры текстов: Если пишешь статью, пост, коммерческое предложение — используй ту же структуру для самопроверки.

Ты — редактор деловых текстов и твоя задача — дать мне фидбек на моё коммерческое предложение.

Задача: написать КП для B2B-клиента (IT-компания, 50+ сотрудников), которое продаёт услугу аудита информационной безопасности. Цель — зацепить болью (недавние взломы конкурентов) и показать ценность (конкретные кейсы, цифры экономии).

Вот моё КП:

[текст]

Дай фидбек, явно выделив:
- Эталонная структура КП для этой задачи
- Моё КП (что работает, что провисает)
- Разрыв (какие блоки упущены, какие слабы)
- 3 конкретных совета как писать похожие КП

Уложись в 250 слов.

Эффект: Вместо "добавь конкретики" получишь "в блоке про боль не хватает цифр — добавь статистику взломов за 2024, в блоке про решение убери общие фразы про 'команду профессионалов' и покажи конкретный кейс с цифрами экономии".

🔧 Техника: Убрать лимит слов → видеть полный разбор

Если задача сложная и нужен глубокий анализ, убери ограничение "200 слов". AI развернёт каждый пункт.

[тот же промпт, но вместо "Уложись в 200 слов" →]

Дай максимально подробный фидбек по каждому пункту.

Эффект: Вместо тезисов получишь развёрнутый разбор с примерами. Полезно для обучения, но избыточно для быстрой проверки.

🔧 Техника: Заменить роль эксперта → изменить фокус фидбека

[вместо "опытный Python-разработчик" →]

Ты — тимлид, который нанимает джунов. Оцени код с точки зрения читаемости, стиля и того, насколько легко его поддерживать в команде.

Эффект: Фидбек сместится с технической корректности на софт-скиллы: именование переменных, комментарии, структура файлов. Та же задача, другой фокус.

💡 Адаптация для карьерных решений: Используй структуру для разбора собственных размышлений о карьере.

Ты — карьерный коуч для специалистов в tech и твоя задача — дать мне фидбек на моё решение о смене работы.

Ситуация: мне 28, работаю продакт-менеджером в стартапе (50 человек, B2B SaaS для логистики). Есть оффер в большую корпорацию (500+ человек, fintech) — на 40% выше зарплата, но меньше влияния на продукт. Сомневаюсь потому что люблю видеть результат своей работы быстро, а в корпе всё медленнее.

Вот мои аргументы ЗА переход:
- Зарплата +40% — закрою ипотеку быстрее
- Процессы и менторство — научусь работать в больших компаниях
- Стабильность — стартап может не взлететь

Аргументы ПРОТИВ:
- Бюрократия убьёт драйв
- Медленные релизы — буду скучать по быстрым итерациям
- Меньше влияния на продукт — стану винтиком

Дай фидбек, выделив:
- Какие факторы критичны для моего профиля (что важно учесть)
- Мои аргументы (какие сильные, какие эмоциональные)
- Что упустил в анализе
- 3 вопроса, на которые нужно ответить перед решением

Уложись в 300 слов.

Эффект: AI укажет на слепые зоны (не учёл рост компетенций, не оценил культуру команды в корпе), разделит рациональные и эмоциональные аргументы, предложит конкретные вопросы для интервью с будущим руководителем.

Feedback That Clicks: Introductory Physics Students' Valued Features in AI Feedback Generated From Self-Crafted and Engineered Prompts

Amogh Sirnoorkar, N. Sanjay Rebello

Department of Physics and Astronomy, Department of Curriculum and Instruction, Purdue University