LLM вместо человеческих судей: крупномасштабное эмпирическое исследование по 20 задачам оценки NLP.

Исследование масштабно проверяет, могут ли современные LLM (GPT-4o, Llama 3 и др.) заменить людей в оценке качества текста по различным критериям (грамотность, логичность, токсичность). Выяснилось, что LLM крайне нестабильны: их оценки сильно зависят от задачи, конкретной модели и оцениваемого текста.

Ключевой результат: LLM-оценщики не являются универсальной заменой людям, они демонстрируют значительную вариативность, предвзятость к машинному тексту и лучше согласуются с оценками не-экспертов, чем экспертов.

Суть исследования — в проверке гипотезы "LLM как судья". Вместо того чтобы просить людей оценить текст по шкале от 1 до 100, исследователи давали ту же самую задачу разным LLM и сравнивали их оценки с "эталонными" человеческими.

С точки зрения практического применения, это исследование дает нам четыре важнейших вывода о поведении LLM, которые нужно учитывать при написании промптов:

1. Эффект "свой-чужой": LLM предвзяты в пользу текстов, созданных другими LLM (или ими самими). Они с большей вероятностью оценят машинный текст как качественный. Это похоже на то, как человек может не замечать ошибок в собственном тексте.
2. LLM — это "не-эксперт": Оценки моделей гораздо лучше совпадают с мнением обычных людей (non-experts), чем с мнением профильных специалистов (experts). Это значит, что LLM хорошо улавливает общие, поверхностные критерии качества (например, гладкость речи), но может упускать тонкие, специфические для предметной области ошибки или нюансы.
3. Нет "лучшей" модели для всего: Разные модели лучше справляются с оценкой разных аспектов. Например, одна модель может быть хороша в оценке логичности (coherence), а другая — в оценке грамотности (acceptability).
4. Слепые зоны: Модели систематически плохо справляются с оценкой сложных и чувствительных тем, таких как безопасность и токсичность, часто отказываясь давать оценку или выбирая "безопасные" варианты.

Методика для пользователя: Не доверяйте LLM как объективному и универсальному судье. Используйте её как ассистента с известными вам смещениями. Чтобы обойти эти ограничения, применяйте технику "разделения ролей" и "компенсирующего промптинга".

*Прямая применимость:

* **Не доверяйте самокритике:** Когда вы просите LLM "улучшить" или "найти ошибки" в только что сгенерированном ею тексте, делайте это с большой долей скепсиса. Она предвзята и может пропустить "машинные" обороты.
* **Используйте "второе мнение":** Для важных задач имеет смысл прогнать результат через другую модель (например, сгенерировать в GPT-4, а попросить оценить в Claude 3), дав ей роль критика.
* **Будьте конкретны в критериях:** Вместо "оцени этот текст" (что заставит модель действовать как не-эксперт), давайте четкие, экспертные критерии: "Оцени этот текст с точки зрения маркетолога на предмет убедительности призывов к действию".

• Концептуальная ценность:

  • Исследование разрушает образ LLM как объективного "оракула" и заменяет его более реалистичной моделью "талантливого, но наивного стажера". Этот стажер быстро работает, много знает, но ему не хватает жизненного опыта (экспертизы) и он склонен хвалить работу своих коллег-стажеров (других LLM). Это понимание — ключ к эффективному управлению.

• Потенциал для адаптации:

  • Основной метод адаптации — это промпт-инжиниринг, основанный на ролях и компенсации. Если вы знаете, что модель — "не-эксперт", вы в промпте даете ей роль эксперта. Если вы знаете, что она предвзята к машинному тексту, вы просите ее специально искать "клише, роботизированные фразы и слишком общие формулировки". Так вы заставляете модель работать против её естественных смещений.

Представим, что вам нужно создать рекламный пост для кофейни и затем его улучшить.

# ЗАДАЧА: Создать и затем критически оценить рекламный пост для Instagram.

### ЭТАП 1: Генерация (Роль: Креативщик)

Создай короткий, энергичный и привлекательный пост для Instagram о нашем новом осеннем напитке "Пряный тыквенный латте". Упомяни, что он сделан из натуральных ингредиентов. Целевая аудитория - молодые люди 20-35 лет.

### ЭТАП 2: Критика (Роль: Скептический маркетолог)

**Инструкция:** Теперь забудь, что ты автор текста выше. Выступи в роли опытного и циничного маркетолога, который ненавидит банальности. Твоя задача — жестко раскритиковать сгенерированный на ЭТАПЕ 1 пост.

**Твои критерии для критики (основаны на выводах исследования):**

1. **Поиск "машинных" фраз (компенсация смещения):** Найди в тексте любые фразы, которые звучат слишком шаблонно, бездушно или как будто их написал робот. Предложи более живые и человечные альтернативы.
2. **Оценка с позиции эксперта (компенсация "не-экспертности"):** Оцени, действительно ли текст "цепляет" целевую аудиторию. Есть ли в нем изюминка, или это просто перечисление фактов ("новый напиток", "натуральные ингредиенты")? Что можно добавить, чтобы создать эмоциональную связь?
3. **Конкретика и убедительность:** Достаточно ли убедительно звучит "натуральные ингредиенты"? Или это пустые слова? Предложи, как можно усилить этот тезис.

Представь свой анализ в виде списка с четкими пунктами критики и предложениями по улучшению.

Этот промпт работает за счет прямого использования выводов исследования для компенсации слабостей LLM:

1. Разделение ролей ("Креативщик" vs "Скептик"): Мы искусственно создаем два разных контекста. Это мешает модели просто "согласиться с собой" и включает у неё другой паттерн мышления.
2. Компенсация "смещения к машинному": Инструкция Поиск "машинных" фраз заставляет модель активно искать то, что она по своей природе склонна игнорировать — роботизированность и шаблонность.
3. Компенсация "не-экспертности": Мы не просто просим "оценить", а даем четкую роль (опытного и циничного маркетолога) и конкретные, экспертные критерии (эмоциональная связь, убедительность тезиса). Это направляет модель от общих оценок к более глубокому анализу.

Задача: Спланировать путешествие и проверить план на реалистичность.

# ЗАДАЧА: Спланировать 3-дневную поездку в Рим и проверить ее на практичность.

### ЭТАП 1: Генерация (Роль: Туристический агент)

Составь подробный план поездки в Рим на 3 полных дня для пары, которая едет в первый раз. Бюджет средний. План должен включать основные достопримечательности, варианты обедов и ужинов. Распиши все по дням.

### ЭТАП 2: Критика (Роль: Местный житель-прагматик)

**Инструкция:** Теперь забудь, что ты автор плана выше. Представь, что ты местный житель Рима, который видит этот туристический план. Твоя задача — найти в нем все нереалистичные и непрактичные моменты.

**Оцени план по следующим критериям:**

1. **Логистика и время (компенсация "не-экспертности"):** Реально ли успеть посетить все эти места за указанное время, учитывая очереди, время на дорогу между локациями и усталость? Нет ли в плане слишком оптимистичных перебежек с одного конца города в другой?
2. **"Туристические ловушки" (поиск неочевидных проблем):** Есть ли в плане места для обеда или ужина, которые являются типичными "туристическими ловушками" (завышенные цены, низкое качество)? Предложи 1-2 аутентичные альтернативы в тех же районах.
3. **"Машинная" обобщенность (компенсация смещения):** Есть ли в плане слишком общие советы вроде "насладитесь итальянской кухней"? Замени их на один конкретный, полезный совет, который знает только местный (например, "не заказывайте капучино после 11 утра" или "билеты в галерею Боргезе нужно бронировать за месяц").

Представь свой анализ в виде таблицы из трех колонок: "Проблема в плане", "Объяснение проблемы", "Предложение по улучшению".

Этот пример работает по тем же принципам, но в другой области:

1. Роль "Местный житель-прагматик" напрямую борется с "не-экспертностью" LLM. Модель вынуждена симулировать знания, которые выходят за рамки стандартной туристической брошюры (время в очередях, расположение "ловушек").
2. Фокус на логистике и "ловушках" заставляет модель анализировать информацию, а не просто компилировать список достопримечательностей. Это переход от простого извлечения фактов к их критической оценке в контексте реальности.
3. Запрос на замену "машинной обобщенности" на конкретный совет заставляет модель искать в своих данных не самые частые и очевидные факты, а более редкие и ценные инсайты, что напрямую повышает практическую пользу ответа для пользователя.

• A. Релевантность техникам промтинга: Дает косвенные, но очень важные указания. В частности, ставит под сомнение универсальность техники Chain-of-Thought, показывая, что она не всегда улучшает результат.
• B. Улучшение качества диалоговых ответов: Значительно, за счет понимания фундаментальных смещений (biases) LLM. Позволяет пользователю формулировать промпты для критики и оценки, которые компенсируют эти смещения.
• C. Прямая практическая применимость: Высокая. Выводы можно применять немедленно без кода и инструментов. Например, не доверять слепо самооценке модели или её оценке чувствительных тем (токсичность).
• D. Концептуальная ценность: Исключительно высокая. Исследование формирует у пользователя правильную "ментальную модель" LLM — не как всезнающего эксперта, а как "не-эксперта", склонного к определённым видам ошибок и предвзятости.
• E. Новая полезная практика (кластеризация):
  • Кластер 2 (Поведенческие закономерности LLM): Прямое попадание. Раскрывает ключевые закономерности: смещение в сторону одобрения машинного текста и лучшее соответствие оценкам не-экспертов.
  • Кластер 7 (Надежность и стабильность): Прямое попадание. Демонстрирует низкую надежность LLM в оценке токсичности и безопасности, что является важным ограничением.
  • Кластер 1 (Техники формулирования промптов): Частичное попадание. Дает важный контраргумент по поводу эффективности CoT.
• Чек-лист практичности:
  • Раскрывает неочевидные особенности поведения LLM: ДА (+15 баллов).
  • Предлагает способы улучшить consistency/точность ответов: ДА (косвенно, через понимание ограничений и применение компенсирующих техник).

Исследование получает 92 балла, так как оно предоставляет не просто "рецепты", а фундаментальное понимание поведения LLM, которое позволяет пользователю перейти от слепого перебора промптов к осознанному управлению моделью.