HREF - Оценка выполнения инструкций с учетом человеческого ответа в языковых моделях.

Исследование посвящено тому, как точнее оценивать качество ответов языковых моделей. Авторы обнаружили, что модели-судьи (LLM, оценивающие ответы других LLM) часто необъективны и предпочитают "машинный" стиль изложения. Главный вывод: если показать модели-судье эталонный ответ, написанный человеком ("human reference"), её оценка становится гораздо более точной и лучше согласуется с оценками людей.

Ключевой результат: предоставление эталонного ответа — мощный способ направить LLM на нужный результат и снизить её врожденные стилистические смещения.

Суть исследования можно объяснить на простой аналогии. Представьте, что вы просите двух стажеров (две LLM) выполнить задачу, а затем просите третьего, самого опытного стажера (LLM-судью), выбрать лучшую работу. Исследование показало, что опытный стажер склонен выбирать работу, которая написана таким же формальным и многословным "канцелярским" языком, как он привык, даже если она не самая лучшая по сути.

Метод, предложенный в исследовании (HREF), заключается в том, чтобы дать опытному стажеру-оценщику не только две работы на сравнение, но и образец идеального выполнения задачи, написанный лично вами (эталон от человека). Глядя на этот образец, оценщик начинает обращать внимание не на привычный ему стиль, а на то, насколько работы соответствуют вашему эталону по сути, краткости и формату.

Для обычного пользователя это означает: хотите получить от LLM качественный ответ в нужном вам стиле — не просто опишите его словами, а покажите конкретный пример. Этот пример (или "human reference") служит для модели якорем, который перебивает её стандартные паттерны генерации и заставляет подражать вашему стилю и структуре.

*Прямая применимость:Низкая. Пользователь не занимается сравнением ответов двух моделей с помощью третьей. Это чисто исследовательская задача.

• Концептуальная ценность: Высокая. Исследование дает пользователю две важные концептуальные идеи:

  1. LLM имеют "свой" стиль. По умолчанию модели склонны генерировать многословные, стилистически нейтральные и иногда избыточные тексты. Они предпочитают такой стиль и в ответах других моделей. Знание этого помогает понять, почему ответ иногда кажется "нечеловеческим".
  2. Эталон > Инструкция. Показ примера желаемого результата (one-shot/few-shot prompting) работает эффективнее, чем долгое словесное описание этого результата. Пример задает неявные параметры (тон, структуру, длину, лексику), которые сложно передать в инструкции.

• Потенциал для адаптации: Огромный. Пользователь может легко адаптировать главный вывод исследования. Вместо того чтобы использовать "человеческий эталон" для оценки, его нужно использовать для генерации. Просто включите в свой промпт раздел с примером идеального ответа, чтобы направить модель.

  Механизм адаптации: В любой сложной задаче, где важен формат или стиль, добавьте в промпт блок вроде ### Пример желаемого результата или ### Эталонный ответ. Внутри этого блока приведите короткий, но исчерпывающий пример того, что вы хотите видеть на выходе.

Представим, что SMM-менеджер хочет, чтобы LLM генерировала короткие и вовлекающие посты для соцсетей о новых поступлениях в магазин одежды.

# РОЛЬ

Ты — опытный SMM-менеджер, который пишет яркие и короткие посты для социальных сетей. Твой стиль — энергичный, дружелюбный и современный.

# КОНТЕКСТ

Мне нужно создать анонс для соцсетей о поступлении новой осенней коллекции пальто. Целевая аудитория — молодые женщины 25-35 лет. Цель поста — вызвать интерес и мотивировать перейти на сайт.

# ЗАДАЧА

Напиши короткий рекламный пост (не более 3-4 предложений). Используй эмодзи и закончи пост четким призывом к действию.

### ЭТАЛОННЫЙ ПРИМЕР (человеческий стиль)

Вот пример поста в том стиле, который мне нужен:
"☀️ Лето, не уходи! Новые летние платья уже здесь! 🌸 Легкие, яркие и невероятно удобные — они созданы для жарких дней и теплых вечеров. Поймай свое летнее настроение!
👉 Смотри всю коллекцию здесь: [ссылка]"

Теперь, основываясь на эталонном примере, выполни основную ЗАДАЧУ для новой осенней коллекции пальто.

Этот промпт эффективен благодаря прямому применению выводов из исследования HREF.

1. Предоставление "Human Reference": Блок ### ЭТАЛОННЫЙ ПРИМЕР — это и есть тот самый "человеческий эталон". Он работает как якорь.
2. Борьба со стилистическим смещением: Без примера LLM могла бы выдать более формальный и длинный текст ("Представляем вашему вниманию новую осеннюю коллекцию элегантных пальто, которые станут прекрасным дополнением вашего гардероба..."). Пример заставляет модель отказаться от своего "дефолтного" стиля в пользу короткого, энергичного и насыщенного эмодзи стиля, который был показан.
3. Задание неявной структуры: Пример наглядно демонстрирует структуру: "Яркий заголовок/крючок" → "Краткое описание преимуществ" → "Эмоциональное завершение" → "Призыв к действию со стрелкой". Модель считывает и воспроизводит эту структуру гораздо точнее, чем если бы она была описана словами.

Задача: Руководитель хочет, чтобы ассистент (LLM) делал краткие структурированные выжимки из рабочих созвонов.

# РОЛЬ

Ты — мой личный ассистент. Твоя задача — анализировать стенограммы совещаний и готовить из них краткие, структурированные отчеты для всех участников.

# КОНТЕКСТ

Ниже приведена полная стенограмма нашего последнего созвона по проекту "Альфа". Мне нужна выжимка ключевых моментов.

# ЗАДАЧА

Проанализируй стенограмму и подготовь отчет, строго следуя формату и стилю, указанному в эталонном примере.

### ЭТАЛОННЫЙ ПРИМЕР ОТЧЕТА

Вот как должен выглядеть идеальный отчет:

**Тема:** Запуск новой рекламной кампании
**Дата:** 15.08.2024
**Ключевые решения:**
- Утвержден бюджет в размере 500 000 руб.
- Основной канал продвижения — Telegram Ads.
- Старт кампании перенесен на 1 сентября.
**Задачи:**
- **Анна:** Подготовить креативы до 25.08.
- **Виктор:** Настроить аналитику и цели до 28.08.
- **Мария:** Согласовать финальные тексты с юристами.
**Следующие шаги:**
- Следующий синк по статусу задач — 29.08 в 11:00.

# СТЕНОГРАММА ДЛЯ АНАЛИЗА:

[...здесь вставляется длинный и хаотичный текст стенограммы созвона по проекту "Альфа"...]

Теперь подготовь отчет по этой стенограмме, используя показанный формат.

Механизм успеха этого промпта аналогичен предыдущему и основан на ключевом принципе исследования.

1. Задание формата через "Human Reference": Блок ### ЭТАЛОННЫЙ ПРИМЕР ОТЧЕТА предоставляет модели не просто инструкцию, а готовый визуальный шаблон. Модель видит, какие должны быть заголовки (**), как использовать списки (-), и какие именно секции (Ключевые решения, Задачи, Следующие шаги) должны присутствовать.
2. Структурирование и извлечение информации: Вместо абстрактной задачи "сделай саммари", мы даем модели "корзины" (секции), в которые нужно разложить информацию из текста. Это превращает сложную креативную задачу в более простую задачу по извлечению и классификации данных. Модель ищет в тексте конкретные факты (решения, имена, дедлайны) и помещает их в нужную категорию по образцу.
3. Повышение надежности: Предоставление такого четкого эталона снижает вероятность "галлюцинаций" или пропуска важных деталей, так как модель сфокусирована на заполнении конкретной структуры, а не на свободном пересказе. Это делает результат более стабильным и предсказуемым.

• A. Релевантность техникам промтинга: Низкая. Исследование сфокусировано на оценке ответов, а не на техниках формулирования первоначальных запросов.
• B. Улучшение качества диалоговых ответов: Косвенное. Понимание принципов может помочь пользователю адаптировать свои промпты для получения более качественных ответов.
• C. Прямая практическая применимость: Очень низкая. Метод (сравнение двух ответов с помощью модели-судьи) не используется обычными пользователями. Однако основной вывод исследования можно адаптировать.
• D. Концептуальная ценность: Высокая. Раскрывает фундаментальную особенность поведения LLM — их стилистические предпочтения и то, как можно на них повлиять с помощью эталонного примера.
• E. Новая полезная практика (кластер): Попадает в кластеры №2 (Поведенческие закономерности LLM) и №6 (Контекст и память). Исследование выявляет, что LLM-судьи предпочитают ответы, стилистически похожие на сгенерированные машиной, и показывает, как предоставление "человеческого" эталона (контекста) меняет это поведение.
• Чек-лист практичности (+15 баллов):
  • Раскрывает неочевидные особенности поведения LLM: ДА. (LLM предпочитают ответы в "своем" стиле, а не в человеческом).
  • Предлагает способы улучшить consistency/точность ответов: ДА. (Через адаптацию метода предоставления эталонного ответа).

Исследование в первую очередь предназначено для разработчиков и исследователей LLM, чтобы создавать более качественные тесты (бенчмарки). Прямая польза для обычного пользователя, который пишет промпты в ChatGPT, минимальна.

Аргументы в пользу оценки (65/100): Оценка отражает баланс между низкой прямой применимостью и высокой концептуальной ценностью. Пользователь не будет применять методику "как есть", но главный вывод исследования — "предоставление эталонного ответа, написанного человеком, значительно улучшает оценку качества" — можно и нужно адаптировать для составления промптов. Это дает пользователю мощный инструмент для управления стилем и структурой ответа, что заслуживает оценки выше средней.