Использование больших языковых моделей для оценки действий репетиторов в реальных диалогах: исследование целесообразности

В исследовании изучалась возможность использования LLM (GPT-4, Gemini) для автоматической оценки качества действий преподавателей (тьюторов) на основе текстовых расшифровок их диалогов со студентами. Вместо одного сложного запроса авторы использовали двухэтапный подход: сначала простой промпт-"фильтр" находил нужный фрагмент диалога (например, где тьютор хвалит студента), а затем второй, более сложный промпт с примерами оценивал качество этого действия. Результаты показали очень высокую точность такого подхода, сравнимую с оценкой экспертов-людей.

Ключевой результат: Декомпозиция сложной задачи на простые шаги ("фильтр" + "оценка") и предоставление модели конкретных примеров (few-shot) — это чрезвычайно эффективная стратегия для получения точных и нюансированных ответов от LLM.

Суть метода, который можно назвать"Фильтр + Оценка с примерами", заключается в том, чтобы не заставлять LLM решать сложную аналитическую задачу в один шаг. Вместо этого вы разбиваете процесс на две логические части, имитируя работу человека-аналитика.

1. Шаг 1: Промпт-Фильтр. Сначала вы просите модель выполнить очень простую и конкретную задачу — найти в большом тексте сам факт наличия нужной вам информации. Вы не просите ее анализировать или оценивать, а просто найти. Например: "Есть ли в этом отзыве упоминание цены? Просто ответь ДА или НЕТ и процитируй, если есть". Это отсеивает ненужный шум и позволяет сфокусироваться на главном.

2. Шаг 2: Промпт-Оценщик. После того как "фильтр" нашел нужный фрагмент, вы подаете его в следующем, уже более сложном промпте. В этом промпте вы:

   • Даете четкие критерии оценки. Что именно вы считаете "хорошим" или "плохим".
   • Приводите примеры (техника Few-Shot). Вы показываете модели 1-2 примера того, как вы бы сами оценили похожие фрагменты. Это самый важный шаг для калибровки "вкуса" модели под ваши требования. Например: "Вот пример хорошего отзыва о цене: '...'. А вот пример плохого: '...'".

Этот двухэтапный подход резко повышает точность, так как модель сначала концентрируется на поиске, а затем — на анализе уже найденного, не пытаясь делать все одновременно. Интересный вывод исследования: иногда требование к модели объяснить свой выбор (chain-of-thought) может ухудшить результат, так что с этим стоит экспериментировать.

*Прямая применимость:Метод можно использовать немедленно для любых задач, требующих анализа текста по определенным критериям. Например, для анализа отзывов на товары, сортировки входящих писем, оценки резюме, поиска нужной информации в длинных статьях. Пользователь просто пишет два последовательных промпта в чате.

• Концептуальная ценность: Главный вывод для пользователя — перестать писать гигантские монолитные промпты. LLM — это не волшебный черный ящик, а инструмент, который лучше работает с четко определенными и разделенными задачами. Концепция "декомпозиции" (разбиения) задачи — это ключевой навык для продвинутого пользователя. Также исследование доказывает, что для получения качественного ответа на субъективный вопрос (что такое "хорошая похвала" или "хороший отзыв"), нужно "обучить" модель в самом промпте с помощью примеров.

• Потенциал для адаптации: Метод абсолютно универсален. Чтобы адаптировать его, нужно просто заменить критерии и примеры из исследования на свои собственные.

  • Механизм адаптации:
    1. Определите вашу сложную задачу (например, "найти в отзывах жалобы на сервис и оценить их критичность").
    2. Создайте промпт-"фильтр": "Найди в тексте жалобы на сервис. Процитируй их".
    3. Создайте промпт-"оценщик": "Оцени критичность жалобы по шкале от 1 до 5, где 5 - очень критично. Вот критерии: [...]. Пример на 5 баллов: [...]. Пример на 2 балла: [...]".

Представим, что вы SMM-менеджер и вам нужно проанализировать отзывы на новый продукт, чтобы понять, что конкретно нравится и не нравится клиентам в его дизайне.

Шаг 1: Промпт-Фильтр

Ты — ассистент SMM-менеджера. Твоя задача — найти в тексте отзыва конкретные упоминания **внешнего вида, дизайна или материалов** продукта.
Проанализируй отзыв ниже. Если найдешь такие упоминания, выведи "ДА" и дословно процитируй соответствующую часть текста. Если таких упоминаний нет, просто напиши "НЕТ".

**Текст отзыва:**
"Купил новый фитнес-браслет 'Атлант-5'. Экран яркий, все видно на солнце, это плюс. Батарея держит два дня, маловато. Но вот сам корпус какой-то дешевый на ощупь, пластик царапается моментально. Хотя ремешок силиконовый, очень приятный и руке не мешает."

Шаг 2: Промпт-Оценщик (после получения ответа от первого промпта)

Ты — ведущий UX-аналитик. Твоя задача — оценить тональность и содержательность отзыва о дизайне продукта.
**Критерии оценки:**
- **Позитив:** Упоминание конкретных удачных дизайнерских решений.
- **Негатив:** Упоминание конкретных недостатков в дизайне, материалах, эргономике.
- **Содержательность:** Насколько детально и аргументированно описаны впечатления.

Проанализируй фрагмент отзыва ниже. Разложи его на **Плюсы** и **Минусы** с точки зрения дизайна и сделай итоговый вывод.

**Примеры для калибровки:**

- **Пример хорошего анализа (содержательный отзыв):**

- **Фрагмент:** "Телефон выглядит монолитно, алюминиевая рамка холодит руку, но из-за острых граней его неудобно долго держать."
- **Твой анализ:**- **Плюсы:** Премиальные материалы (алюминий), ощущение монолитности.
- **Минусы:** Плохая эргономика (острые грани).
- **Вывод:** Смешанный отзыв. Дизайн красивый, но непрактичный.
- **Пример плохого анализа (несодержательный отзыв):**

- **Фрагмент:** "Выглядит круто!"
- **Твой анализ:**- **Плюсы:** Общая положительная оценка.
- **Минусы:** Нет.
- **Вывод:** Позитивный, но малоинформативный отзыв. Нет конкретики.

**Теперь проанализируй этот фрагмент:**
"сам корпус какой-то дешевый на ощупь, пластик царапается моментально. Хотя ремешок силиконовый, очень приятный и руке не мешает."

Этот промпт работает за счет нескольких механик, описанных в исследовании:

1. Декомпозиция (Prompt Chaining): Мы не просим LLM "проанализировать отзыв о дизайне" в одном запросе. Первый промпт решает простую задачу поиска, изолируя нужную информацию. Второй промпт решает задачу оценки, работая уже с отфильтрованными, релевантными данными. Это снижает когнитивную нагрузку на модель и предотвращает "галлюцинации" или поверхностные ответы.
2. Few-Shot Learning: Примеры во втором промпте — это ключ к успеху. Они не просто показывают формат ответа, но и "калибруют" модель, объясняя ей на практике, что мы считаем "содержательным" или "несодержательным" отзывом. Модель учится на этих примерах и применяет эту логику к новому фрагменту.
3. Четкие роли и критерии: Роли ("SMM-ассистент", "UX-аналитик") и ясные критерии ("Позитив", "Негатив", "Содержательность") задают модели нужный контекст и структуру ответа, делая результат более предсказуемым и полезным.

Задача: HR-специалист хочет быстро оценить, насколько опыт кандидата в резюме релевантен вакансии "Менеджер по продукту", где важен опыт запуска новых продуктов с нуля.

Шаг 1: Промпт-Фильтр

Ты — ассистент HR. Твоя задача — найти в тексте резюме описание опыта, связанного с **запуском продуктов, фичей или проектов с начального этапа (с нуля)**.
Проанализируй фрагмент резюме ниже. Если найдешь такое упоминание, выведи "ДА" и процитируй его. Если нет — напиши "НЕТ".

**Фрагмент резюме:**
"2019 – наст. время, ООО 'ТехноИнновации', Менеджер по продукту. Управлял бэклогом продукта 'Оптима', увеличил вовлеченность пользователей на 25% за счет A/B-тестирования новых гипотез. Провел исследование рынка и разработал стратегию для нового мобильного приложения 'Коннект', руководил командой разработки от создания MVP до релиза в App Store, что привело к 50 000 установок в первый месяц."

Шаг 2: Промпт-Оценщик (после получения цитаты от первого промпта)

Ты — опытный рекрутер, нанимающий Product Manager'ов. Оцени, насколько убедительно и релевантно описан опыт **запуска продукта с нуля** в предоставленном фрагменте.
**Критерии оценки:**
- **Конкретика:** Есть ли измеримые результаты (метрики, цифры)?
- **Масштаб:** Понятен ли масштаб проекта (команда, бюджет, аудитория)?
- **Полнота цикла:** Описан ли весь процесс от идеи/исследования до релиза?

Оцени фрагмент по этим критериям и дай краткое заключение: "Высокая релевантность", "Средняя релевантность" или "Низкая релевантность".

**Примеры для калибровки:**

- **Пример высокой релевантности:** "Запустил проект 'Альфа' с нуля: провел 50 CustDev-интервью, сформировал MVP, руководил командой из 5 разработчиков, добился показателя retention первого дня 40% после релиза."
- **Пример низкой релевантности:** "Участвовал в запуске нескольких новых инициатив в компании."

**Теперь проанализируй этот фрагмент:**
"Провел исследование рынка и разработал стратегию для нового мобильного приложения 'Коннект', руководил командой разработки от создания MVP до релиза в App Store, что привело к 50 000 установок в первый месяц."

Механизм успеха здесь идентичен первому примеру и полностью основан на выводах исследования:

1. Декомпозиция: Вместо общего вопроса "Подходит ли этот кандидат?", мы сначала решаем узкую задачу поиска ("фильтр"): "А есть ли у него вообще нужный нам опыт?". Это сразу отсекает нерелевантные части резюме.
2. Фокус на нюансах через Few-Shot: Второй промпт ("оценщик") фокусируется на качестве описания. Без примеров LLM может счесть любую фразу о "запуске" релевантной. Примеры "высокой" и "низкой" релевантности обучают модель отличать пустословие от реального, подкрепленного цифрами опыта. Модель учится искать не ключевые слова, а доказательства компетентности.
3. Контекстуализация: Роль "опытного рекрутера" и четкие критерии (конкретика, масштаб, полнота цикла) направляют анализ в профессиональное русло, заставляя модель оценивать текст с точки зрения бизнес-ценности, а не просто формального соответствия.

• Предварительный фильтр: Пройден. Исследование полностью сфокусировано на анализе текстовых диалогов и разработке текстовых промптов для оценки этого текста. Никакого визуального или аудио контента не обрабатывается.
• A. Релевантность техникам промптинга: Очень высокая. В исследовании прямо упоминаются и применяются few-shot prompting, chain-of-thought (rationale forcing), prompt chaining и self-consistency.
• B. Улучшение качества диалоговых ответов: Высокая. Основная цель — повысить точность и надежность оценки LLM, что напрямую влияет на качество итогового ответа.
• C. Прямая практическая применимость: Очень высокая. Предложенный подход (разбиение задачи на "фильтр" и "оценку" + few-shot примеры) не требует кода или специальных инструментов и может быть моментально применен любым пользователем в обычном чате с LLM.
• D. Концептуальная ценность: Очень высокая. Исследование дает фундаментальное понимание того, что сложные задачи нужно декомпозировать на более простые подзадачи. Оно также наглядно показывает, почему предоставление примеров (few-shot) критически важно для получения nuanced-ответов, и что "магическая фраза" think step-by-step не всегда является лучшим решением.
• E. Попадание в кластеры:
  • Кластер 1 (Техники формулирования): Явное использование few-shot и chain-of-thought.
  • Кластер 3 (Оптимизация структуры): Использование prompt chaining (цепочки промптов "фильтр -> оценка") является ключевым элементом методологии.
  • Кластер 7 (Надежность и стабильность): Вся работа направлена на повышение надежности и точности оценки, приближая ее к человеческой.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции (в виде few-shot примеров), показывает, как структурировать сложные запросы (декомпозиция), и раскрывает неочевидные особенности LLM (требование обоснования иногда снижает точность).

Оценка 92 из 100 обусловлена тем, что исследование предлагает не просто одну технику, а целую стратегию для решения сложных аналитических задач, которую может применить любой пользователь. Эта стратегия (декомпозиция + примеры) универсальна и переносима на огромное количество повседневных задач, от анализа отзывов до оценки резюме.

Контраргументы (почему оценка могла быть иной):

• Почему не 100? Метод требует от пользователя не просто скопировать промпт, а осмыслить свою задачу и разбить ее на два этапа, а также подобрать релевантные примеры. Это требует некоторого усилия и аналитического мышления, что делает его чуть менее "мгновенным", чем простая готовая фраза-улучшайзер.
• Почему не 70-80? Потому что польза от предложенного подхода фундаментальна. Пользователь, освоивший эту стратегию, сможет решать не одну конкретную задачу, а целый класс сложных аналитических задач гораздо эффективнее. Это не просто "совет", а обучение новому, более эффективному способу мышления при работе с LLM. Узкая тема исследования (оценка тьюторов) может замаскировать широчайшую применимость метода, но его суть универсальна.