M2M (Misunderstanding to Mastery): автоматический поиск пробелов в знаниях через форумы

Полная система M2M требует инфраструктуры (RAG, векторная БД, pipelines), но принципы можно адаптировать для ручного применения в чате:

ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ (требует код):

ШАГ 1: Загрузить материалы курса → векторная БД для RAG
ШАГ 2: Prompt pipelines обрабатывают форум → список недопониманий
ШАГ 3: Классификатор считает coverage/cohesion → рейтинг важности
ШАГ 4: Prompt chaining генерирует материалы → черновик (MCQ, упражнение)
ШАГ 5: LLM оценивает + преподаватель проверяет → финальный материал

АДАПТАЦИЯ ДЛЯ ЧАТА (без кода):

ШАГ 1: Загрузить вопросы/комментарии + контекст в Claude (одним запросом или через Projects)
ШАГ 2: Попросить LLM сгруппировать по паттернам недопонимания
ШАГ 3: Вручную выбрать важные группы (по количеству + связности)
ШАГ 4: Для каждой группы — 3-этапный промпт:
 - Brainstorm вариантов материала
 - Выбрать лучший вариант
 - Доработать с учётом контекста
ШАГ 5: Проверить и отредактировать результат

Задача: Руководитель поддержки маркетплейса (Wildberries/Ozon) получает 200+ однотипных вопросов в неделю про возврат товара. Вместо ответов поштучно, хочет найти паттерны непонимания и создать целевые FAQ-материалы.

Промпт (Шаг 1-2 — Выявление паттернов):

Вот 200 вопросов клиентов про возврат товара за последнюю неделю:

[вставить вопросы]

Контекст — наша инструкция по возвратам:

[вставить инструкцию]

Задача:
1. Найди повторяющиеся паттерны недопонимания — где клиенты систематически не понимают одно и то же, но формулируют по-разному
2. Для каждого паттерна:
 - Дай краткое название (5-7 слов)
 - Опиши суть недопонимания
 - Покажи 3-5 примеров вопросов из списка
 - Оцени: сколько примерно вопросов (%) относятся к этому паттерну

Выдай ТОП-5 самых частых паттернов с метриками.

Промпт (Шаг 3-4 — Генерация материала для топового паттерна):

Паттерн недопонимания: "Клиенты не понимают разницу между отменой заказа и возвратом товара"

Примеры вопросов:
- "Могу ли я вернуть товар сразу после оформления заказа?"
- "Как отменить, если курьер уже привёз?"
- "В течение какого времени можно отказаться?"

Контекст — инструкция по возврату: [вставить]

Задача создать FAQ-материал в 3 этапа:

ЭТАП 1 - BRAINSTORM:
Предложи 5 вариантов формата материала (FAQ, сценарий, чек-лист, сравнительная таблица, инфографика-текст)

ЭТАП 2 - ВЫБОР:
Выбери лучший вариант и объясни почему. Распиши пошаговый план создания.

ЭТАП 3 - СОЗДАНИЕ:
Создай материал по плану. Используй конкретные данные из инструкции (сроки, условия). Материал должен:
- Устранять конкретное недопонимание
- Быть понятен человеку без юридического бэкграунда
- Содержать практические примеры

Результат:

LLM выдаст три блока: (1) список вариантов материала, (2) обоснование выбора лучшего варианта с планом, (3) готовый материал (например, сравнительная таблица "Отмена vs Возврат" с конкретными сроками и условиями). Вы проверяете фактическую точность, корректируете формулировки и публикуете.

Слабость LLM: Модель не может самостоятельно приоритизировать — без явных инструкций она одинаково обрабатывает редкую проблему одного человека и системную проблему сотни. Она видит деревья, но не лес.

Сильная сторона LLM: Модель отлично группирует по семантике — находит паттерны в разнородных формулировках ("как отменить заказ", "можно ли вернуть деньги", "не хочу товар") и связывает их в один концепт. Плюс умеет генерировать контент по структуре — если дать трёхэтапную схему (brainstorm → select → refine), каждый шаг качественнее одношагового "напиши FAQ".

Как метод использует это: Вы даёте LLM явную структуру оценки (найди паттерны + посчитай coverage) — модель группирует семантически похожее и показывает масштаб. Затем используете prompt chaining — вместо "создай материал" (размытый запрос) делите на мелкие чёткие задачи: сначала brainstorm форматов (модель креативит), потом выбор лучшего (модель оценивает), потом создание с контекстом (модель опирается на факты). Каждый шаг фокусирует модель на узкой задаче — меньше галлюцинаций, выше качество.

Рычаги управления:

• Количество примеров на паттерн — просите 3-5 для беглого просмотра или 10-15 для глубокой проверки связности
• Порог группировки — задайте минимум "показывай паттерны где >10% вопросов" или оставьте всё для полной картины
• Этапы chaining — можно убрать brainstorm и сразу к созданию (быстрее, но менее креативно) или добавить этап критики между выбором и созданием (медленнее, но глубже)
• Контекст для генерации — меняйте какие материалы загружать: только инструкции (сухо), примеры писем клиентам (живой язык), кейсы (практично)

Трёхэтапный промпт для создания материала на основе паттерна:

Паттерн недопонимания: {описание_паттерна}

Примеры вопросов:
{3-5_примеров_вопросов}

Контекст:
{материалы_курса_или_продукта}

ЭТАП 1 - BRAINSTORM:
Предложи 5 вариантов формата учебного материала для устранения этого недопонимания.

ЭТАП 2 - ВЫБОР:
Выбери лучший вариант. Обоснуй выбор. Распиши пошаговый план создания материала.

ЭТАП 3 - СОЗДАНИЕ:
Создай материал по плану. Используй конкретные данные из контекста. Материал должен:
- Устранять конкретное недопонимание
- Быть понятен целевой аудитории
- Содержать практические примеры

Пояснение к плейсхолдерам:

• {описание_паттерна} — суть недопонимания одним предложением (например: "Пользователи путают асинхронные функции с промисами")
• {3-5_примеров_вопросов} — реальные формулировки из форума/тикетов/отзывов
• {материалы_курса_или_продукта} — релевантные инструкции, документация, лекции

🚀 Быстрый старт — вставь в чат:

Вот шаблон для создания учебного материала на основе паттерна недопонимания. 
Адаптируй под мою задачу: {опиши свою ситуацию — что за вопросы, от кого, какой контекст есть}. 
Задавай вопросы, чтобы правильно заполнить поля.

[вставить шаблон выше]

LLM спросит: (1) какие конкретно вопросы у вас есть, (2) какой контекст/материалы доступны, (3) для какой аудитории создавать материал — потому что без этого невозможно сделать целевой контент. Модель возьмёт трёхэтапную структуру из шаблона и адаптирует под вашу задачу.

⚠️ Требует инфраструктуры для полной версии: Оригинальный M2M использует RAG, векторные БД, классификаторы — это код и API. Адаптация для чата работает на меньших масштабах (десятки-сотни вопросов вместо тысяч).

⚠️ Метрики coverage/cohesion — приблизительны: В чате LLM может оценить "примерно 30% вопросов про это", но точный подсчёт требует кода. Cohesion (насколько семантически связаны посты) в чате вообще не посчитать — только интуитивная оценка.

⚠️ Риск перегрузить аудиторию: Преподаватели отметили: если создать материал для каждого найденного паттерна, студенты утонут в дополнительных заданиях. Нужен баланс — фокус на критичные пробелы, не на всё подряд.

⚠️ Требует финальной проверки человеком: LLM может сгруппировать неправильно (объединить разные проблемы) или создать материал с фактическими ошибками. Преподаватели подчеркнули: они должны быть "финальным фильтром", а не слепо публиковать AI-контент.

Исследователи взяли три реальных курса по CS в университете Квинсленда: Information Systems (556 студентов), Web Information Systems (225 студентов), Algorithms and Data Structures (574 студента). Всего 1355 студентов написали 2878 постов на форумах. Команда реализовала подход M2M на этих данных: использовала GPT-4o mini для выявления недопониманий и LearnLM 1.5 Pro для генерации учебных материалов.

Затем провели структурированные интервью с пятью преподавателями, которые вели эти курсы. Им показали прототип интерфейса с результатами работы M2M — список выявленных недопониманий и сгенерированные тесты (MCQ). Преподавателей попросили оценить: (1) насколько точно AI нашёл реальные проблемы студентов, (2) насколько качественны созданные материалы, (3) будут ли они использовать такой инструмент в работе.

Результаты оказались единодушными: все пять преподавателей поддержали идею и назвали подход "проницательным" и "применимым на практике". Один преподаватель (P3) отметил, что M2M снижает когнитивную нагрузку — не нужно вручную перечитывать сотни постов в поисках паттернов. Другой (P5) подчеркнул педагогическую ценность: инструмент помогает перейти от реактивного тушения пожаров к проактивной работе с системными пробелами.

Но были и критические замечания: нужна более детальная группировка (иногда один паттерн объединял слишком разные проблемы), нужен рейтинг критичности недопониманий (какие важнее устранить первыми), и нужна валидация созданных материалов перед публикацией. Все преподаватели согласились: они должны быть "финальным фильтром", проверяющим AI-выводы, а не слепо доверять автоматике.

Удивительный инсайт: преподаватели увидели пользу не только в снижении нагрузки, но и в структурной рефлексии — M2M показывает картину пробелов класса, которую не видно при ответах на отдельные вопросы. Это меняет качество преподавания, а не только экономит время.

💡 Адаптация для Product Management — анализ отзывов пользователей:

Вместо форумов студентов — отзывы клиентов с маркетплейса (Wildberries, Ozon, Яндекс Маркет). Вместо учебных материалов — улучшения продукта или FAQ.

Промпт:

Вот 150 отзывов на наш товар за месяц:

[вставить отзывы]

Описание продукта:
[вставить описание]

ЭТАП 1: Найди паттерны негативного опыта — где клиенты систематически сталкиваются с одной проблемой, но описывают по-разному.

ЭТАП 2: Для каждого паттерна:
- Название проблемы
- Суть недовольства
- 3-5 цитат из отзывов
- Примерный % отзывов

ЭТАП 3: Для ТОП-3 проблем предложи:
- Быстрое решение (FAQ/инструкция для поддержки)
- Долгосрочное решение (доработка продукта)

Результат: вместо ручного чтения сотен отзывов получаете структурированную карту болей с приоритетами и готовыми черновиками решений.

🔧 Техника: Добавить этап критики между выбором и созданием → глубже проработанный контент

Если трёхэтапный chaining даёт поверхностный результат, добавьте промежуточный шаг — критику выбранного варианта:

Изменённая структура:

ЭТАП 1 - BRAINSTORM: [как раньше]

ЭТАП 2 - ВЫБОР: [как раньше]

ЭТАП 2.5 - КРИТИКА ПЛАНА:
Представь, что ты опытный {эксперт в области}. Прочитай план создания материала.
Что может пойти не так? Какие слабые места? Где нужна доработка?
Предложи улучшения.

ЭТАП 3 - СОЗДАНИЕ С УЧЁТОМ КРИТИКИ:
Создай материал, учитывая замечания из критики.

Пример: для образовательных MCQ критик может указать "дистракторы слишком очевидны" или "вопрос проверяет память, а не понимание" — в финальной версии эти проблемы будут устранены.

💡 Экстраполяция на корпоративное обучение — onboarding новых сотрудников:

HR-менеджер собирает вопросы новичков из Slack/корп. чата за квартал, находит паттерны непонимания (например: "Как работает система отпусков" или "Кому писать про оборудование"), создаёт целевые onboarding-материалы.

Промпт:

Вопросы новых сотрудников из Slack за 3 месяца:

[вставить вопросы]

Внутренняя база знаний:
[вставить релевантные инструкции]

Задача:
1. Сгруппируй вопросы по темам
2. Для ТОП-5 тем создай:
 - Краткий гайд (1-2 экрана)
 - Чек-лист действий
 - Контакты ответственных

Формат: материал для Notion/Confluence, читается за 2-3 минуты.

Результат: вместо реактивных ответов в чате — проактивная база знаний, которая закрывает 80% типовых вопросов новичков.

• "From Misunderstandings to Learning Opportunities: Leveraging Generative AI in Discussion Forums to Support Student Learning" (2025)
• Код и промпты доступны: https://github.com/stlkcmrd/AIED25-M2M
• Авторы: Stanislav Pozdniakov, Jonathan Brazil, Oleksandra Poquet, Stephan Krusche и др. (University of Queensland, Technical University of Munich)