TL;DR
Conversational feedback — сбор обратной связи через диалог с LLM, а не через форму с фиксированными вопросами. Студенты отвечали на вопросы о курсе в чате с GPT-4: чатбот задавал follow-up вопросы, уточнял, просил примеры. Вместо односложных ответов на 10 вопросов — естественный разговор, где LLM следует за мыслью респондента.
Традиционные опросы в конце курса (проекта, сотрудничества) дают мало пользы. Люди заполняют формально, торопятся, отвечают поверхностно. Преподаватели получают циферки и общие фразы типа "всё норм" или "можно лучше". Непонятно что конкретно работает, а что нет. И главное — feedback приходит слишком поздно, когда уже ничего не изменить.
LLM-чатбот собирает отзывы в середине процесса, задаёт вопросы под конкретный контекст (задание, лекция, этап проекта), углубляется если ответ поверхностный. Результат — детальные диалоги вместо галочек в форме. Можно увидеть реальные боли и исправить по ходу, не дожидаясь конца.
Схема системы (из исследования)
Оригинальная система состоит из трёх инструментов (требует код для воспроизведения):
1. PromptDesigner → преподаватель создаёт и тестирует промпты под свой курс
2. FeedbackCollector → студенты чатятся с GPT-4, отвечают на вопросы
3. FeedbackAnalyzer → преподаватель читает диалоги + смотрит AI-саммари
Feedback собирали дважды за квартал (5-я и 10-я недели), между раундами обновляли промпты.
Как применить принцип вручную
Можно взять идею: собирать обратную связь через диалог, а не через форму. Работает для любого контекста — отзыв клиента о проекте, ретроспектива в команде, исследование пользователей.
Задача: Собрать детальный отзыв клиента о работе над проектом
Промпт:
Ты — интервьюер, собираешь обратную связь о проекте.
Я буду отвечать от лица клиента.
Веди диалог:
1. Начни с общего впечатления о проекте
2. Если ответ поверхностный — задавай уточняющие вопросы, проси примеры
3. Углубляйся в детали: коммуникация, сроки, качество, процесс работы
4. Спрашивай про конкретные моменты, которые запомнились (хорошие и плохие)
Не задавай все вопросы списком. Веди естественный разговор, следуй за моими ответами.
Контекст проекта: [краткое описание — что делали, для кого, сколько длилось]
Начинай интервью.
Результат: LLM поведёт диалог, будет задавать вопросы по одному, реагировать на ваши ответы, уточнять детали. Вместо формального "оцените от 1 до 5" получите живой разговор, где человек раскрывается. В конце можно попросить чатбот структурировать всё сказанное в саммари.
Почему это работает
Статичные формы создают барьер. Человек видит 10 вопросов — торопится, отвечает формально, пропускает детали. Опрос воспринимается как обязанность, хочется быстрее закончить. Вопросы не всегда попадают в то, что действительно важно для этого человека.
Диалог снижает барьер. Отвечать на один вопрос психологически легче. Follow-up вопросы создают ощущение что твоё мнение интересно, тебя слушают — человек раскрывается, даёт детали. LLM умеет подхватывать контекст из предыдущих ответов и развивать разговор естественно.
Timing критичен. Собирать feedback в середине процесса даёт время на изменения. Конечные опросы приходят когда уже поздно что-то менять — проект закончен, курс пройден. Mid-course feedback позволяет скорректировать траекторию пока есть возможность.
Рычаги для адаптации:
- Глубина уточнений → укажи "если ответ короче 2-3 предложений — копай глубже" или наоборот "не затягивай, 3-4 вопроса максимум" для быстрых опросов
- Фокус диалога → задай конкретные темы для обсуждения (только про коммуникацию, только про продукт, только про конкретный этап)
- Тон интервьюера → "дружелюбный и неформальный" vs "нейтральный и профессиональный" влияет на откровенность респондента
- Финальный саммари → попроси в конце "структурируй всё сказанное в 3 блока: что работает, что не работает, предложения"
Что нашли в исследовании
Исследователи протестировали систему на двух магистерских курсах в UC Santa Cruz — 40 студентов, две точки сбора feedback за квартал (5-я и 10-я недели). Потом опросили 6 студентов и преподавателя.
Преподаватель был в восторге. Чатбот дал намного больше пользы чем стандартные университетские опросы (SETS). 23 ответа за 5 минут против обычных единиц в формах. Главное — feedback был конкретным и actionable: "студенты заметили рассинхрон между readings и лекциями" → преподаватель сразу скорректировал обсуждения в классе.
Возможность менять вопросы между раундами оказалась мощной. В начале квартала спрашивал про лекции и задания, к концу добавил вопросы про финальный проект. Статичные формы так не умеют.
Неожиданный бонус: читая диалоги, преподаватель узнал не только про курс, но и про самих студентов — как они работают, где теряют детали, что игнорируют в инструкциях. Эти инсайты помогли скорректировать не только контент, но и стиль коммуникации.
Студентам понравился формат. "Felt more conversational", "prompted me to think more", "it wasn't just asking the same questions". Разговор воспринимался как genuine feedback процесс, не формальность. Чатбот задавал follow-up questions, следовал за логикой ответов — это создавало ощущение что тебя слушают.
Но была проблема с анонимностью. Несколько студентов признались что не давали резкую критику, потому что знали: преподаватель прочитает ответы. "If I had full confidence that my identity wouldn't be attached, I would've framed my feedback differently". Система показывала что feedback анонимный, но студенты не до конца верили. Видимые гарантии приватности нужны для честности.
Почему conversational format победил: чатбот адаптировался под контекст каждого ответа, а не заставлял вписываться в рамки заранее заготовленных вопросов. Студент мог развить мысль, а не втискивать её в поле "дополнительные комментарии" в конце формы.
Адаптации
🔧 Техника: Ретроспектива через диалог с LLM
Вместо ретроспективы в формате "что хорошо / что плохо / что улучшить" (где люди часто молчат или говорят общими фразами), дайте каждому члену команды промпт для личного диалога с ChatGPT:
Ты — фасилитатор ретроспективы. Веди со мной диалог про последний спринт.
Контекст: [краткое описание спринта — задачи, команда, длительность]
Спрашивай по очереди:
- Что в этом спринте работало хорошо? Попроси конкретные примеры.
- Что вызывало трудности или тормозило? Копай глубже — почему, что конкретно происходило.
- Что можно улучшить в следующем спринте? Что конкретно изменить?
Если я отвечаю поверхностно ("всё ок", "были проблемы с коммуникацией") — задавай уточняющие вопросы, проси детали и примеры.
В конце дай структурированный саммари моего фидбэка в трёх блоках: работает, не работает, предложения.
Начинай.
Каждый проходит диалог за 5-10 минут → скидывает саммари в общий чат → получаете детальные инсайты вместо поверхностных стикеров на Miro-доске.
🔧 Техника: Глубинное интервью пользователя через LLM
Вместо того чтобы самому вести интервью (долго, нужен скилл, респондент может стесняться), дайте человеку промпт для диалога с ChatGPT:
Ты — исследователь, проводишь глубинное интервью о том, как человек использует [продукт/сервис].
Я — пользователь.
Веди интервью:
1. Спроси про контекст использования — зачем нужен продукт, какую задачу решает
2. Попроси описать последний опыт взаимодействия — детально, шаг за шагом, что делал, что чувствовал
3. Узнай что понравилось больше всего, что разочаровало или раздражало
4. Спроси что бы изменил в продукте, если бы была волшебная палочка
Углубляйся в ответы. Проси конкретные примеры. Уточняй эмоции и причины.
Контекст продукта: [краткое описание — что за продукт, для чего]
Начинай интервью.
Респондент чатится с LLM в удобное время → высылает вам транскрипт → вы получаете полноценное глубинное интервью без затрат времени на встречу и без эффекта "стесняюсь говорить в лицо".
Ограничения
⚠️ Масштаб вручную: Для сбора feedback от 20-30 человек через индивидуальные диалоги нужно чтобы каждый прошёл свой сеанс. Оригинальная система автоматизировала это через веб-интерфейс. Вручную — нужно давать каждому промпт и собирать транскрипты или саммари.
⚠️ Анонимность: При диалоге в личном ChatGPT сложно гарантировать настоящую анонимность для респондентов. Если они знают что вы увидите их аккаунт или стиль письма — могут не давать резкую критику. В исследовании была отдельная инфраструктура с гарантиями приватности.
⚠️ Анализ большого объёма: Если feedback от 30 человек — читать 30 диалогов вручную долго. Можно попросить ChatGPT суммировать несколько транскриптов, но это дополнительный шаг и дополнительные запросы.
⚠️ Качество зависит от промпта: Если промпт слабый — чатбот будет задавать поверхностные вопросы или уйдёт не туда. Нужно итеративно улучшать промпт, тестировать на себе перед запуском.
Ресурсы
Listening with Language Models: Using LLMs to Collect and Interpret Classroom Feedback
Sai Siddartha Maram, Ulia Zaman, Magy Seif El-Nasr
University of California, Santa Cruz