Страхующие Соколы и Злые Ламы Аннотации Эмоциональных Категорий Аргументов людьми и LLM

Исследование сравнивает, насколько хорошо разные LLM (Llama, Falcon, GPT-4o-mini) справляются с задачей определения эмоций в текстах по сравнению с людьми. Для этого авторы использовали три разных промпт-техники: zero-shot, one-shot и Chain-of-Thought (CoT). Они обнаружили, что люди часто расходятся во мнениях, а модели LLM показывают системную склонность преувеличивать негативные эмоции, такие как гнев и страх.

Ключевой результат: LLM плохо справляются с точным определением конкретных эмоций, но структурированные промпты (особенно CoT) и постановка более сложной задачи для получения простого ответа могут частично улучшить их производительность.

Суть исследования для обычного пользователя сводится к трем ключевым выводам, которые можно превратить в практические методики промптинга.

1. LLM предвзяты, а не объективны. Модели имеют сильный "крен" в сторону негативных эмоций. Они реагируют на триггерные слова (например, "опасность", "болезнь", "конфликт"), присваивая тексту эмоцию "страх" или "гнев", даже если контекст нейтральный или гипотетический. Практический вывод: если вы получили от LLM излишне тревожный или негативный ответ, проверьте свой промпт на наличие таких триггерных слов. Возможно, модель отреагировала на форму, а не на суть.

2. Разбиение задачи на шаги (Chain-of-Thought) работает. Исследование подтверждает, что промпты, в которых вы просите модель "сначала подумать, а потом ответить", показывают лучшие результаты. Вместо того чтобы сразу требовать финальный ответ, дайте модели инструкцию сначала проанализировать текст, выделить аргументы, а затем на основе этого анализа сделать вывод. Это имитирует более осмысленный подход и снижает количество случайных ошибок.

3. Просите большего, чтобы получить простое, но качественное. Самый ценный вывод: чтобы получить надежный ответ на простой вопрос (например, "В этом тексте есть эмоции? Да/Нет"), лучше поставить более сложную задачу. Например: "Классифицируй эмоцию в этом тексте по шкале: [Радость, Интерес, Удивление, Страх, Гнев, Отсутствие эмоций]". Когда модель вынуждена выбирать из нескольких конкретных вариантов, она проводит более глубокий анализ, и итоговый результат (даже если вы потом просто посмотрите, был ли выбран вариант "Отсутствие эмоций") становится более надежным.

*Прямая применимость:Пользователь может немедленно начать использовать шаблоны промптов, показанные в исследовании. Например, всегда начинать промпт с определения роли ("Ты — опытный редактор"), четко формулировать задачу ("Твоя задача — классифицировать текст") и указывать формат вывода ("Ответ дай в формате JSON"). Техника CoT ("Думай шаг за шагом") также применима напрямую.

• Концептуальная ценность: Исследование дает пользователю работающую "ментальную модель" LLM. Оно помогает понять, что LLM — это не мыслящий собеседник, а сложный статистический инструмент, подверженный предвзятостям (biases). Знание о "негативном уклоне" позволяет пользователю более критично относиться к ответам модели и эффективнее исправлять ее ошибки, меняя формулировки в промпте.

• Потенциал для адаптации: Метод "просить сложной классификации для получения простого ответа" универсален. Его можно адаптировать для любых задач:

  • Анализ отзывов: Вместо "Это позитивный или негативный отзыв?" просить "Оцени отзыв по параметрам: [Критика продукта, Похвала сервиса, Вопрос о доставке, Эмоциональное высказывание] и укажи общую тональность".
  • Оценка рисков в письме: Вместо "В этом письме есть риски?" просить "Проанализируй письмо и классифицируй его по типу риска: [Финансовый, Репутационный, Юридический, Операционный, Риск отсутствует]".

Этот промпт работает за счет двух механик, описанных в исследовании:

1. Chain-of-Thought (CoT): Промпт не просто требует финального решения (Удалить), а заставляет модель пройти по логической цепочке: сначала прочитать, потом классифицировать, и только потом принять решение. Это структурирует "мыслительный" процесс LLM и повышает точность.
2. Вывод из сложной классификации: Вместо простого вопроса "Нужно ли удалять этот комментарий?", мы заставляем модель провести более детальный анализ и выбрать одну из четырех категорий. Комментарий явно содержит оскорбление и спам. Выбирая категорию Оскорбление или Спам, модель логически приходит к единственно верному решению Удалить. Это надежнее, чем прямолинейный бинарный выбор, где модель могла бы "растеряться".

Этот пример эффективно использует те же принципы, что и исследование, но в другой сфере (деловая переписка).

1. Декомпозиция задачи (CoT): Промпт четко разделяет задачу на три этапа: анализ, классификация цели и формулирование резюме. Это направляет модель и предотвращает пропуск важных деталей.
2. Вывод из классификации: Вместо того чтобы спросить "Это важное письмо?", мы просим классифицировать его цель. Модель вынуждена анализировать содержание (слова "предложить партнерство", "обсуждение деталей") и выбрать категорию Предложение о сотрудничестве. Этот выбор напрямую определяет итоговый приоритет, делая оценку важности письма не случайной, а основанной на анализе его сути. Это делает работу ассистента более надежной и предсказуемой.

• A. Релевантность техникам промтинга: Да, исследование напрямую сравнивает эффективность zero-shot, one-shot и Chain-of-Thought (CoT) промптов, предоставляя конкретные шаблоны (Таблица 3).
• B. Улучшение качества диалоговых ответов: Косвенно. Понимание эмоциональных предубеждений LLM помогает пользователю формулировать запросы так, чтобы избегать нежелательных эмоциональных окрасок в ответах.
• C. Прямая практическая применимость: Высокая. Принципы структурирования промптов (роль, задача, формат) и использования CoT можно применять немедленно без каких-либо инструментов.
• D. Концептуальная ценность: Очень высокая. Исследование вскрывает фундаментальную особенность LLM: их склонность к предвзятости (bias) в сторону негативных эмоций (гнев, страх) и поверхностное распознавание угроз по ключевым словам, а не по смыслу.
• E. Новая полезная практика (кластеризация): Работа попадает в несколько ключевых кластеров:
  • 1. Техники формулирования промптов: Является ядром исследования (ZS, OS, CoT).
  • 2. Поведенческие закономерности LLM: Раскрывает системную предвзятость к негативным эмоциям.
  • 3. Оптимизация структуры промптов: Показывает рабочие шаблоны с явным указанием роли, задачи и формата вывода (JSON).
  • 5. Извлечение и структурирование: Использует запросы на JSON-вывод для классификации.
  • 7. Надежность и стабильность: Поднимает проблему низкой точности (precision) и надежности LLM в задачах субъективной оценки.
• Чек-лист практичности: Дает готовые конструкции, показывает как структурировать запросы и раскрывает неочевидные особенности поведения LLM. (+15 баллов).

Исследование получает высокий балл, так как предоставляет не только абстрактные знания, но и конкретные, универсально применимые выводы для улучшения качества промптов.

Аргументы в пользу оценки (90): 1. Прямое сравнение техник: Работа наглядно демонстрирует разницу между ZS, OS и CoT, что помогает пользователю выбрать нужный подход для задач классификации и анализа. 2. Раскрытие "ментальной модели" LLM: Ключевой вывод о предвзятости к негативным эмоциям (гнев, страх) — это важнейшее знание. Пользователь понимает, что LLM не "чувствует", а находит статистические корреляции. Слова "риск", "рак", "авария" вызывают у модели реакцию "страх" даже в гипотетическом контексте. Это помогает критически оценивать ответы модели. 3. Практическая техника "усложнения для упрощения": Исследование показывает, что для получения надежного бинарного ответа ("есть эмоция / нет эмоции") лучше заставить модель сначала провести более сложную классификацию по нескольким категориям. Этот принцип можно перенести на множество других задач.