За пределами контрастивного обучения: синтетические данные позволяют обучение с учетом списка с несколькими уровнями релевантности.

Суть исследования в том, что для обучения AI-моделей ранжированию информации гораздо эффективнее использовать данные с несколькими уровнями релевантности (например: идеальный ответ, хороший ответ, связанный по теме ответ и неверный ответ), чем просто делить все на "правильно" и "неправильно". Для этого авторы с помощью одной LLM генерировали такие "градуированные" наборы данных для обучения другой модели.

Ключевой результат: Модели, обученные на данных с градацией релевантности, значительно лучше понимают нюансы и точнее ранжируют информацию, чем модели, обученные на бинарных данных.

Представьте, что вы учите стажера сортировать клиентские отзывы. Стандартный подход — показать ему "хороший отзыв" и "плохой отзыв". Это работает, но не очень точно. Стажер может путать восторженный отзыв с просто вежливым, а конструктивную критику — с откровенным хейтом.

Исследование предлагает более совершенный метод обучения, который мы, как пользователи, можем перенять. Вместо двух крайностей, мы показываем модели целый спектр примеров:

1. "Идеально релевантный" (Perfectly relevant): Эталон, к которому нужно стремиться. Прямой и полный ответ на запрос.
2. "Очень релевантный" (Highly relevant): Ответ правильный, но, возможно, неполный, или важная информация скрыта среди менее важной.
3. "Связанный по теме" (Related): Документ на ту же тему, но не отвечающий на конкретный вопрос. Это "ложный друг", которого модель должна научиться игнорировать.
4. "Нерелевантный" (Irrelevant): Полностью посторонний текст.

Когда мы в своем промпте предоставляем LLM примеры, структурированные по такому принципу, мы не просто даем ей примеры. Мы определяем для нее шкалу оценки. Мы учим ее "на лету" тем критериям, которые отличают идеальный ответ от просто хорошего, а хороший — от похожего, но неправильного. Это заставляет модель генерировать ответ, который находится на самом верху этой шкалы качества.

*Прямая применимость:Пользователь может напрямую встроить эту логику в свои промпты, используя few-shot подход. Для любой задачи, где важны нюансы (написание заголовков, email-рассылок, классификация тональности), можно предоставить 3-4 примера, явно пометив их как "идеальный", "хороший", "неудачный". Это задает модели четкую систему координат для генерации ответа.

• Концептуальная ценность: Главный вывод для пользователя — LLM способна понимать и воспроизводить небинарную логику оценки. Это означает, что вы можете "программировать" ее на очень тонкое понимание задачи, если предоставите ей правильную "линейку" для измерения. Вместо того чтобы просто просить "хороший текст", вы можете определить, что именно делает текст "хорошим" на конкретных примерах разного качества.

• Потенциал для адаптации: Метод легко адаптируется для широкого круга задач:

  • Генерация креативов: Дать примеры "гениального", "стандартного" и "банального" слогана.
  • Классификация отзывов: Показать примеры "восторженного", "положительного", "нейтрального" и "негативного" отзыва.
  • Суммаризация: Предоставить "идеальное краткое резюме", "слишком подробное резюме" и "резюме, упустившее суть". Механизм адаптации прост: разбейте желаемое качество результата на 3-4 уровня, найдите или придумайте пример для каждого уровня и включите их в промпт перед основной задачей.

Представим, что вы SMM-менеджер и вам нужно придумать вовлекающий пост для соцсетей о новом фитнес-марафоне.

Ты — опытный SMM-копирайтер, эксперт по созданию вовлекающих постов. Твоя задача — написать короткий рекламный пост для Instagram о нашем новом онлайн-марафоне "Летняя перезагрузка за 21 день".
Чтобы ты лучше понял(а) задачу, я покажу тебе примеры постов разного качества на другую тему (марафон по медитации). Я использую систему оценки от "идеально" до "нерелевантно".

### Примеры для обучения

**Запрос:** Написать пост про марафон по медитации.

**<Пример: ИДЕАЛЬНО>**
Устали от вечной гонки в голове? 🤯 За 10 дней нашего марафона "Дзен в городе" вы научитесь находить тишину даже в метро. Первая медитация в подарок! Ссылка в профиле. ✨ #медитация #дзен #спокойствие

**<Пример: ХОРОШО>**
Приглашаем на наш новый марафон по медитации. Вы узнаете много полезных техник, которые помогут вам расслабиться. Старт 15 июля.

**<Пример: СВЯЗАНО, НО НЕ ТО>**
Медитация — это древняя практика, которая зародилась в Индии тысячи лет назад. Она включает в себя концентрацию на дыхании или мантре для достижения измененного состояния сознания.

**<Пример: НЕРЕЛЕВАНТНО>**
Наш фитнес-клуб открывает набор в группы по йоге и пилатесу. Спешите записаться, количество мест ограничено.

### Твоя задача

Теперь, используя ту же логику оценки, напиши **идеальный** пост для нашего марафона **"Летняя перезагрузка за 21 день"**.
Целевая аудитория: девушки 25-35 лет, хотят быстро прийти в форму к отпуску.
Ключевые особенности: короткие тренировки (20 минут в день), план питания, поддержка куратора.

Этот промпт эффективен, потому что он не просто дает модели инструкцию, а создает для нее контекст оценки качества.

1. Определение "Идеально": Пример с эмодзи, вопросом к аудитории, ярким образом ("тишина в метро") и четким призывом к действию задает высочайшую планку. Модель понимает, что от нее требуется не просто текст, а "живой", эмоциональный пост.
2. Определение "Хорошо": Этот пример показывает, чего недостаточно. Он правильный, но сухой и не цепляющий. Модель учится избегать формального, "канцелярского" стиля.
3. Определение "Связано, но не то": Этот пример отсекает целое направление неверных ответов. Он учит модель не писать "статью из Википедии" о явлении, а создавать именно рекламный текст.
4. Определение "Нерелевантно": Это четкая граница, за которую нельзя выходить.

Вместо того чтобы блуждать в пространстве всех возможных текстов о фитнесе, LLM получает четкую "карту качества" и нацеливается на генерацию ответа в той области, которую мы пометили как "идеально".

Задача: Составить тему для email-рассылки о распродаже зимней коллекции одежды.

Ты — эксперт по email-маркетингу. Твоя задача — придумать 3 варианта темы письма для распродажи остатков зимней коллекции.
Для калибровки твоего стиля, вот примеры тем для другой акции (распродажа книг) с оценкой их качества.

### Примеры для калибровки

**Запрос:** Тема письма для распродажи книг.

**<Пример: ИДЕАЛЬНО>**
-50% на всё, что вы мечтали прочитать этой зимой. 📚❄️

**<Пример: ХОРОШО>**
Скидки на книги в нашем магазине.

**<Пример: НЕУДАЧНО>**
Информационное сообщение №1543

### Твоя задача

Теперь, руководствуясь этой логикой, напиши 3 **идеальных** варианта темы письма для акции **"Финальная распродажа зимней коллекции одежды"**.
Ключевые моменты: скидки до 70%, последние размеры, акция действует 3 дня.

Этот промпт работает по тому же принципу "обучения на спектре качества".

1. Задание эталона ("ИДЕАЛЬНО"): Пример -50% на всё, что вы мечтали прочитать этой зимой. 📚❄️ показывает, что идеальная тема сочетает конкретную выгоду (-50%), эмоциональный триггер (мечтали прочитать), релевантность сезону и визуальный элемент (эмодзи).
2. Показ недостатков ("ХОРОШО"): Пример Скидки на книги в нашем магазине — это то, что сгенерировала бы модель без калибровки. Он информативный, но скучный и не выделяется в почтовом ящике. Показывая его как "просто хороший", мы запрещаем модели выдавать подобные безликие варианты.
3. Отрицательный пример ("НЕУДАЧНО"): Информационное сообщение №1543 создает резкий контраст и показывает, что абсолютно неприемлемо: формальный, бездушный, немаркетинговый язык.

Предоставив эту градуированную шкалу, мы заставляем модель анализировать признаки, делающие тему письма "идеальной" (выгода, эмоция, срочность, визуальный якорь), и генерировать варианты, которые соответствуют именно этим, а не усредненным критериям.

• A. Релевантность техникам промптинга: Высокая. Хотя исследование описывает метод тренировки моделей, оно раскрывает фундаментальный принцип "обучения по градации релевантности", который можно напрямую перенести в few-shot промптинг.
• B. Улучшение качества диалоговых ответов: Очень высокое. Метод нацелен на улучшение ранжирования, что напрямую влияет на качество ответов в RAG-системах (когда бот ищет информацию для ответа). Принцип можно адаптировать для улучшения генерации в целом.
• C. Прямая практическая применимость: Высокая. Пользователь не может использовать сам метод (Wasserstein loss), но может немедленно применить его главную идею — предоставление примеров с разным уровнем качества (градацией релевантности) — в своих промптах без какого-либо кода.
• D. Концептуальная ценность: Исключительно высокая. Исследование дает пользователю новую "ментальную модель" LLM. Оно показывает, что модель способна понимать не просто "правильно/неправильно", а целый спектр "идеально -> хорошо -> связано, но не то -> совсем не то". Это ключевой инсайт для создания сложных промптов.
• E. Новая полезная практика (кластеризация):
  • Кластер 1 (Техники формулирования): Да, это можно рассматривать как продвинутую форму few-shot/one-shot промптинга.
  • Кластер 2 (Поведенческие закономерности): Да, раскрывает способность LLM к пониманию нюансированной, градуированной релевантности.
  • Кластер 7 (Надежность и стабильность): Да, обучая модель более тонким различиям, мы снижаем вероятность того, что она выберет нерелевантный, но похожий по ключевым словам ответ (форма галлюцинации в RAG).
• Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции (структуру примеров), показывает, как структурировать сложные запросы (через градацию), раскрывает неочевидные особенности LLM (понимание спектра релевантности) и предлагает способ улучшить точность. Бонус в 15 баллов применяется.

Исследование получает 92 балла. Это почти идеальная работа с точки зрения концептуальной ценности для продвинутого пользователя. Она не дает готовых фраз-триггеров, как "Думай шаг за шагом", но вооружает пользователя гораздо более мощным инструментом — методом обучения модели "на лету" через градуированные примеры.

• Аргументы "ЗА" (Почему оценка высокая):

  1. Фундаментальный сдвиг в мышлении: Работа переводит пользователя от бинарного мышления "хороший пример vs плохой пример" к спектральному. Это позволяет решать гораздо более тонкие и сложные задачи.
  2. Прямая адаптируемость: Идею можно сразу же переложить на практику в виде структурированного few-shot промпта, который "программирует" модель на понимание нюансов задачи.
  3. Универсальность: Принцип применим не только к поиску, но и к генерации, классификации, оценке, суммаризации — везде, где есть понятие "качества" или "степени соответствия".

• Контраргументы (Почему оценка не 100):

  1. Требует усилий от пользователя: В отличие от простых техник, здесь пользователь должен сам придумать и сформулировать примеры для каждого уровня релевантности, что требует времени и понимания задачи.
  2. Непрямая польза: Исследование посвящено тренировке моделей, а не напрямую промптингу. Пользователю нужно сделать самостоятельный шаг, чтобы адаптировать эту идею для своих промптов. Это не готовый рецепт "скопируй-вставь".