Этот кандидат [MASK]. Извлечение настроения на основе промптов и рекомендательные письма

Исследование предлагает простой и эффективный метод извлечения тональности (сентимента) из текста с помощью LLM. Суть метода в том, чтобы не просто спросить модель "какая тональность у этого текста?", а дать ей текст и шаблон предложения с пропущенным словом (маской), например: "В целом, этот кандидат [МАСКА]". Затем модель оценивает, какие слова (например, "отличный" или "посредственный") с наибольшей вероятностью подошли бы для заполнения этого пропуска.

Ключевой результат: Этот метод, названный "prompt-based sentiment extraction", работает значительно лучше традиционных подходов и позволяет получать оценки, которые сильно коррелируют с реальными результатами (в данном случае — с успехом кандидатов на рынке труда).

Метод "Prompt-based Extraction" (извлечение на основе промпта) превращает задачу классификации или анализа в более естественную для LLM задачу "заполнения пропусков". Вместо того чтобы просить модель рассуждать о тексте, мы заставляем ее сделать конкретный выбор в заданных нами рамках.

Методика для практического применения:

1. Определите задачу. Что вы хотите извлечь из текста? Тональность (позитив/негатив), категорию (спам/не спам), намерение клиента (вопрос/жалоба/благодарность)?

2. Создайте Шаблон (Template). Это фраза или предложение, которое содержит два элемента:

   • [X] — место для вашего входного текста.
   • [MASK] — место, куда модель должна подставить слово-оценку. Шаблон должен логически завершать или обобщать входной текст. Например: "[X] В итоге, я оцениваю этот опыт как [MASK].".

3. Создайте Вербализатор (Verbalizer). Это просто два или более списка слов, которые могут быть подставлены на место [MASK]. Каждый список соответствует одной из категорий, которые вы определили в шаге 1.

   • Пример для тональности:
     • Позитивные слова: {"отличный", "превосходный", "замечательный"}
     • Негативные слова: {"ужасный", "плохой", "разочаровывающий"}

4. Сформулируйте промпт. В промпте вы даете модели входной текст, ваш шаблон и списки слов из вербализатора, а затем просите ее выбрать наиболее подходящее слово для заполнения [MASK]. Это заставляет модель выдать короткий, структурированный и предсказуемый ответ.

Этот подход использует фундаментальную способность LLM предсказывать наиболее вероятное продолжение текста, направляя эту способность в нужное вам русло.

• Прямая применимость: Пользователи могут немедленно использовать этот метод для автоматизации рутинных задач. Например, можно быстро классифицировать сотни отзывов на товары, сортировать входящие письма по категориям (важное, спам, реклама) или анализировать упоминания бренда в соцсетях. Для этого достаточно составить промпт по описанной выше методике и подавать в него тексты.

• Концептуальная ценность: Исследование дает пользователю ключевое понимание: не просите LLM думать, а создайте условия, в которых ее естественное поведение (предсказание слов) решает вашу задачу. Это сдвиг от "разговора" с ассистентом к "программированию" его поведения через структуру промпта. Пользователь начинает видеть LLM не как черный ящик, а как мощный вероятностный инструмент.

• Потенциал для адаптации: Метод чрезвычайно гибок. Заменив слова в вербализаторе, можно адаптировать его под любую задачу классификации.

  • Анализ email: Шаблон: "[X] Это письмо, скорее всего, является [MASK].". Вербализатор: {"спамом", "рабочим запросом", "личной перепиской"}.
  • Определение намерений клиента: Шаблон: "[X] Судя по сообщению, клиент хочет [MASK].". Вербализатор: {"получить консультацию", "оставить жалобу", "вернуть товар"}. Механизм адаптации прост: определи категории -> подбери для них ключевые слова-маркеры -> вставь их в вербализатор.

Представим, что вы владелец небольшой кофейни и хотите быстро анализировать отзывы, которые оставляют клиенты онлайн.

`

Ты — ассистент-аналитик. Твоя задача — беспристрастно классифицировать тональность отзывов клиентов.

**# Контекст**
Я собираю отзывы о своей кофейне и хочу автоматически разделить их на позитивные и негативные для дальнейшего анализа. Мне нужен только четкий и однозначный ответ.

**# Входной текст (Отзыв клиента)**
"Забежал сегодня утром взять капучино. Пришлось ждать минут 15, хотя передо мной было всего два человека. Сам кофе оказался каким-то водянистым и совсем не горячим. В общем, утро было подпорчено. Вряд ли вернусь."

**# Задача**
Проанализируй приведенный выше **Входной текст** и определи его общую тональность. Для этого мысленно подставь его в следующий шаблон и выбери наиболее подходящее слово из предложенных списков.

**# Шаблон**
`[Входной текст] В целом, этот отзыв можно охарактеризовать как [МАСКА].`

**# Списки слов для выбора (Вербализатор)**
*   **Позитивные:** `["отличный", "хвалебный", "положительный", "восторженный"]`
*   **Негативные:** `["негативный", "критический", "плохой", "разочарованный"]`

**# Формат ответа**
В ответе укажи ТОЛЬКО ОДНО слово, которое ты выбрал из списков. Никаких дополнительных объяснений.

Этот промпт эффективен благодаря нескольким механикам, основанным на выводах исследования:

1. Рефрейминг задачи: Вместо абстрактного вопроса "Какая тональность у отзыва?" промпт ставит перед LLM конкретную задачу на подстановку слова — fill-in-the-blank. Это более естественно для архитектуры модели.
2. Структурированный шаблон: Фраза В целом, этот отзыв можно охарактеризовать как [МАСКА] заставляет модель обобщить весь текст и вынести итоговый вердикт, отсекая второстепенные детали.
3. Ограниченный выбор (Вербализатор): Списки "Позитивные" и "Негативные" слов действуют как фильтр. Модель не может сгенерировать нейтральный или двусмысленный ответ. Она вынуждена выбрать одну из двух заданных категорий, что делает результат предсказуемым и стабильным.
4. Четкие инструкции по формату: Требование "ТОЛЬКО ОДНО слово" предотвращает лишние рассуждения и гарантирует, что ответ будет легко обработать автоматически.

Представим менеджера продукта, который анализирует обратную связь от пользователей по новой функции в приложении. Ему нужно понять, что именно обсуждают пользователи: баги, идеи по улучшению или удобство использования.

`

Ты — ассистент менеджера продукта. Твоя задача — классифицировать обратную связь от пользователей по основной теме.

**# Контекст**
Мы выпустили новую функцию "Экспорт в PDF" и собираем отзывы. Мне нужно быстро понять, о чем пишет пользователь, чтобы направить его отзыв в нужную команду (разработчикам, дизайнерам или аналитикам).

**# Входной текст (Отзыв пользователя)**
"Спасибо за новую функцию! Очень ждал. В целом работает хорошо, но было бы здорово, если бы можно было выбирать ориентацию страницы — книжную или альбомную. Сейчас по умолчанию только книжная, и мои таблицы не помещаются."

**# Задача**
Проанализируй **Входной текст** и определи его основную тему. Для этого мысленно подставь его в шаблон ниже и выбери наиболее подходящее по смыслу слово из предложенных списков.

**# Шаблон**
`[Входной текст] В этом отзыве пользователь в первую очередь описывает [МАСКА].`

**# Списки слов для выбора (Вербализатор)**
*   **Сообщение об ошибке:** `["ошибку", "баг", "сбой", "проблему"]`
*   **Предложение по улучшению:** `["идею", "улучшение", "пожелание", "предложение"]`
*   **Положительный фидбек:** `["удобство", "преимущество", "пользу", "позитив"]`

**# Формат ответа**
В ответе укажи ТОЛЬКО ОДНО слово, которое ты выбрал из списков.

Механизм работы этого промпта идентичен предыдущему и основан на тех же принципах из исследования:

1. Конкретизация через шаблон: Шаблон ...пользователь в первую очередь описывает [МАСКА] заставляет LLM сфокусироваться на главном намерении пользователя, а не просто на пересказе содержания. Модель должна определить суть сообщения.
2. Категоризация через вербализатор: Списки слов ("ошибку", "идею", "удобство") представляют собой четко разделенные категории. LLM, анализируя текст отзыва ("было бы здорово, если бы..."), понимает, что он наиболее семантически близок к категории "предложение по улучшению".
3. Надежность и простота: Вместо того чтобы просить модель "Отнеси отзыв к одной из категорий: баг, идея, похвала", что может привести к длинным ответам, мы сводим задачу к простому выбору слова. Это делает процесс классификации быстрым, точным и легко автоматизируемым.