Feed-O-Meter: практика фидбека через роль ментора AI-студента

ШАГ 1: AI-студент (Alex) показывает дизайн-идею
→ Тема, цели, текущее решение

ШАГ 2: Вы даёте фидбек через чат
→ Система категоризирует (вопрос/утверждение) и оценивает качество

ШАГ 3: Система показывает влияние фидбека
→ Реакция AI: мимика, мысли, уровень знаний
→ Дашборд: метрики фидбека (конкретность, обоснованность, и т.д.)

ШАГ 4: AI обновляет идею на основе фидбека
→ Вы видите ЧТО изменилось

ШАГ 5 (опционально): AI задаёт встречные вопросы
→ Если фидбек повторяется или неконкретный

Всё происходит в одном интерфейсе. Шаги 2-5 повторяются в диалоге.

Задача: Вы хотите прокачать навык давать фидбек на бизнес-идеи. Нашли стартап "Аренда дронов для доставки еды в спальных районах Москвы" и хотите потренироваться на нём.

Промпт:

Ты — студент-предприниматель, первокурсник бизнес-школы. Твои знания о бизнесе ограничены тем, что я тебе объясню в процессе обсуждения.

Твоя бизнес-идея:
"Дроны для доставки еды в спальные районы. Проблема: в спальниках мало кафе, курьеры не хотят ехать далеко. Решение: дроны летают быстро, не зависят от пробок."

Я буду твоим ментором. После каждого моего фидбека:
1. Покажи что ты понял из моего фидбека
2. Обнови свою идею ТОЛЬКО на основе моего фидбека
3. Задай 1 встречный вопрос, если тебе что-то неясно

Начни с представления идеи.

Результат:

LLM сыграет роль студента-новичка: покажет поверхностное понимание проблемы, обновит идею буквально по вашим словам (иногда слишком буквально), задаст наивные вопросы. Вы увидите КАК ваш фидбек влияет — студент понял или нет, идея улучшилась или стала запутанной. Это заставит вас думать не только "что сказать", но и "как сказать понятно".

Слабость LLM при обучении фидбеку: Если просто попросить LLM сыграть студента, он будет слишком умным — ответит лучше реального студента, даст инсайты которых у него быть не должно. Это разрушает обучение: вы не видите реальный эффект фидбека, а получаете готовые решения от AI.

Сильная сторона LLM: Умеет следовать ограничениям если их явно прописать. Может симулировать роли и показывать процесс мышления. Может оценивать текст по критериям.

Как метод использует это: Ограничивает знания AI через knowledge state — студент знает ТОЛЬКО то, что вы ему объяснили. Это заставляет вас давать полный и понятный фидбек, иначе студент не поймёт. Визуализация влияния (обновление идеи, встречные вопросы) показывает где ваш фидбек провалился — студент не понял, идея стала хуже, возникли новые вопросы.

Рычаги управления промптом:

• Уровень студента → "первокурсник" vs "выпускник" → меняет глубину вопросов и скорость понимания
• Тип обратной связи → "покажи что понял" vs "обнови идею" vs "задай вопросы" → выбираешь какой аспект влияния видеть
• Частота встречных вопросов → "задай 1 вопрос" vs "задавай вопросы когда непонятно" → контролируешь интерактивность
• Knowledge state reset → начни новую сессию = чистый лист → тренируешь объяснение с нуля каждый раз

Ты — {роль студента/новичка} с ограниченными знаниями в {область}. 

Твоя задача/идея: {опиши задачу или идею студента}

ВАЖНО: Твои знания ограничены тем, что я тебе объясню. Не используй знания которые я не дал.

После каждого моего фидбека:
1. Покажи что ты понял из фидбека — своими словами
2. Обнови свою {идею/решение/подход} ТОЛЬКО на основе моего фидбека
3. Если что-то непонятно — задай встречный вопрос

Начни с представления своей {идеи/задачи}.

Что подставлять:

• {роль студента} — "студент-дизайнер", "джуниор-маркетолог", "начинающий писатель"
• {область} — конкретная сфера где тренируешь фидбек
• {задача или идея} — стартовая точка для фидбека (дизайн-концепт, бизнес-идея, текст)
• {идея/решение/подход} — что именно обновляет студент

🚀 Быстрый старт — вставь в чат:

Вот шаблон для тренировки навыка фидбека через роль ментора. 
Адаптируй под мою задачу: {твоя задача — например "хочу тренировать фидбек на маркетинговые стратегии"}. 
Задавай вопросы чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит про область, роль студента, стартовую идею — потому что это нужно чтобы создать реалистичную симуляцию. Она возьмёт паттерн "ограниченные знания + показ понимания + обновление + встречные вопросы" и адаптирует под вашу задачу.

⚠️ Реализм симуляции: AI-студент может "проскальзывать" в ответах слишком умными формулировками. Если видите что студент говорит как эксперт — напомните ему про ограниченные знания: "Ты первокурсник, откуда ты это знаешь? Используй только то, что я объяснил."

⚠️ Оценка качества фидбека: В оригинальной системе есть автоматическая оценка (конкретность, обоснованность, своевременность). В чате можно попросить LLM оценить ваш фидбек явно: "Оцени мой последний фидбек по конкретности, обоснованности, уровню." Но это разбивает поток — лучше делать в конце сессии.

⚠️ Субъективные критерии: Метод работает лучше для фидбека с чёткими критериями (дизайн, бизнес-идеи, тексты). Для сильно субъективных областей (креатив, искусство) сложнее увидеть "правильное" влияние фидбека.

⚠️ Длинные сессии: После 10-15 сообщений контекст размывается, AI забывает начальные ограничения. Лучше делать короткие сессии (5-7 раундов фидбека) и начинать новую с новой идеей.

Команда взяла 24 студента-дизайнера и дала им попрактиковать фидбек в двух условиях: baseline (просто чат с AI-студентом) и Feed-O-Meter (чат + визуализация влияния фидбека). Каждый студент дал фидбек на три разные дизайн-идеи (темы: снижение выбросов углерода, уход за питомцами, защита детей) по 20 минут на сессию.

Интересный дизайн: AI-студент (Alex) показывал черновую идею написанную реальными студентами — не идеальную, с пробелами. Это давало пространство для фидбека. Идеи оценивались по пяти критериям дизайна: инновация, проработанность, юзабилити, ценность, социальная ответственность.

Почему результаты получились такими: С визуализацией влияния (FRI) студенты давали на 13% более длинные сообщения и значительно более конкретный фидбек (4.76 vs 4.28 из 7 по оценке экспертов, p<0.05). Причина проста: когда видишь как студент буквально понимает твой фидбек (через обновление идеи и встречные вопросы), ты понимаешь что абстрактные советы не работают. "Подумай о пользователе" → студент в ступоре. "Опиши какие проблемы будут у родителя с тремя детьми при использовании этого" → студент обновляет идею конкретно.

Что удивило: Количество вопросов упало с визуализацией (162 vs 243), зато выросли рекомендации (193 vs 144). Студенты поняли что вопросы типа "А ты подумал о X?" не помогают новичку — он не знает КАК думать о X. Эффективнее дать направление: "Попробуй вот так...", "Посмотри на примеры...". Это показывает что тренировка фидбека меняет стратегию, а не просто объём.

Инсайт для практики: Фидбек работает когда ты видишь результат. Без обратной связи от получателя ты работаешь вслепую — даёшь советы которые кажутся умными, но не помогают. Визуализация влияния (обновление идеи, встречные вопросы, реакции) обучает эмпатии — ты начинаешь думать "поймёт ли новичок", "достаточно ли конкретно", а не просто "что я думаю об этой идее".

Оригинальная система — веб-приложение с React + Flask + GPT-4o API. Но принципы можно воспроизвести в чате:

Knowledge State механизм (из статьи):

knowledge extractor retrieves relevant knowledge and action plans from feedback.
knowledge: high-level insights for general design process
action plan: specific guidance for current design project

Контекст: Исследователи разделили знания AI-студента на два типа — общие инсайты (переносимые на другие проекты) и конкретные действия (только для текущей идеи). Это позволяло AI накапливать опыт правильно: общие принципы помогали в диалоге (генерация встречных вопросов), конкретные действия — обновлять идею. Такое разделение предотвращало "переобучение" AI на одну идею.

💡 Адаптация для самокритики: Вместо фидбека на чужую идею — дай фидбек своей идее. Попроси LLM сыграть тебя-новичка с твоей идеей. Ты становишься ментором себе прошлому.

Ты — я три месяца назад, когда только начинал {проект}. Вот моя тогдашняя идея: {идея}. Твои знания ограничены тем, что я знал тогда. Я буду ментором и дам фидбек этой идее. После фидбека покажи: что понял, как обновишь идею, какие вопросы.

Это помогает критически анализировать свои решения — видишь какие пробелы были, какой фидбек тебе не хватало тогда.

💡 Адаптация для тимлидов: Потренируй фидбек для команды. LLM играет джуниора с багом в коде / маркетолога с черновым планом / дизайнера с концептом. Тренируешь прикладной фидбек в своей области.

Ты — джун-разработчик в моей команде. Написал код {опиши код или задачу}. Код работает, но есть проблемы с читаемостью / производительностью / архитектурой. Я дам code review. После каждого комментария: покажи что понял, обнови код, задай вопрос если непонятно.

🔧 Техника: добавить явную оценку фидбека → видеть слабые места

В конце сессии добавь:

Теперь проанализируй весь фидбек который я дал. Оцени каждый мой совет по шкале 1-7:
- Конкретность: насколько точно указал ЧТО делать
- Обоснованность: насколько объяснил ПОЧЕМУ
- Действенность: насколько легко применить

Покажи где я был сильным ментором, где слабым.

Это рефлексия после действия — видишь паттерны своего фидбека, понимаешь где провисаешь.

🔧 Техника: убрать "покажи что понял" → ускорить сессию, фокус на обновлении идеи

Если хочешь быструю итерацию без промежуточной рефлексии:

После моего фидбека сразу обнови идею. Не объясняй что понял — просто покажи новую версию.

Полезно когда тренируешь скорость фидбека или работаешь с простыми идеями.

🔧 Техника: добавить "worst case scenario" → тренировать фидбек на защите

После моего фидбека сначала найди ХУДШЕЕ толкование — как можно понять мой совет неправильно или вредно. Потом обнови идею правильно.

Это обучает точности формулировок — видишь как твой фидбек может быть неверно понят.

Feed-O-Meter: Fostering Design Feedback Skills through Role-playing Interactions with AI Mentee

Код системы: github.com/Hyunseung-Lim/Feed-O-Meter

Авторы: Hyunseung Lim, Dasom Choi, DaEun Choi, Sooyohn Nam, Hwajung Hong

Организация: KAIST (Korea Advanced Institute of Science and Technology), Department of Industrial Design