LLM как лучшие рекомендатели с использованием сигналов естественного языка для совместной работы: самооценка подхода к извлечению.

Исследование показывает, что большие языковые модели (LLM) плохо справляются с персональными рекомендациями (например, фильмов или книг), так как у них нет доступа к данным о том, что нравится похожим на вас людям. Авторы предлагают решение: находить пользователей со схожими вкусами и добавлять информацию об их предпочтениях прямо в промпт в виде простого текста на естественном языке.

LLM гораздо лучше понимает и использует для рекомендации информацию в формате "Другим пользователям со схожими вкусами понравились...", чем когда те же данные подаются в виде специальных технических идентификаторов или токенов.

Суть метода, который можно назвать"Промптинг с социальным доказательством" (Social Proof Prompting), заключается в обогащении вашего запроса к LLM внешним контекстом, основанным на предпочтениях других людей.

Вместо того чтобы просто спрашивать LLM: "Я посмотрел фильм 'Бегущий по лезвию'. Посоветуй что-то похожее."

Вы сначала делаете небольшое исследование (например, в Google или на Reddit по запросу "что посмотреть если понравился бегущий по лезвию"), а затем добавляете найденную информацию в промпт. Вы как бы "обучаете" модель на релевантных примерах прямо в момент запроса.

Методика для пользователя выглядит так:

1. Определите свой профиль: Четко сформулируйте, что вам нравится (фильмы, книги, игры, музыкальные группы).
2. Найдите "похожих людей": Используйте поисковики или тематические форумы, чтобы найти обсуждения, где люди с такими же вкусами делятся своими рекомендациями.
3. Сформулируйте "социальное доказательство": Обобщите найденную информацию в 1-2 предложения. Например: "Пользователи, которые любят 'Бегущего по лезвию' за его нуар-атмосферу и философские вопросы, часто высоко оценивают сериал 'Видоизмененный углерод' и фильм 'Призрак в доспехах'."
4. Соберите промпт: Объедините ваш профиль, "социальное доказательство" и сам вопрос в один структурированный промпт.

Это превращает LLM из простого "знатока всего" в ассистента, который может анализировать предоставленные ему данные о коллективных предпочтениях и делать на их основе гораздо более точный и персонализированный вывод.

*Прямая применимость:Пользователь не может использовать сам фреймворк SCORE, но может легко и напрямую применитьпринципэтого фреймворка. Вместо автоматического ретривера и ре-ранкера пользователь выступает в их роли сам, используя Google/Reddit для поиска "коллаборативной информации" и вручную отбирая самые релевантные примеры для добавления в промпт.

• Концептуальная ценность: Исследование дает пользователю ключевое понимание: LLM — это не оракул, а процессор текста. Если в его "оперативной памяти" (контексте промпта) нет данных о предпочтениях, он будет выдумывать или давать общие ответы. Добавляя "социальное доказательство", мы заземляем (grounding) его ответ на реальных данных, что многократно повышает качество.

• Потенциал для адаптации: Метод легко адаптируется для любой сферы, где важны субъективные предпочтения.

  • Путешествия: "Туристы, которым понравился спокойный отдых в Лиссабоне, также рекомендуют для поездки Порту и Болонью".
  • Кулинария: "Люди, которые любят готовить пасту Карбонара по аутентичному рецепту, часто пробуют делать Качо-э-пепе".
  • Выбор карьеры: "Специалисты, которые перешли из маркетинга в аналитику данных, отмечают важность изучения SQL и Python на старте". Механизм адаптации прост: найти релевантные данные о чужом опыте и кратко изложить их в промпте как дополнительный контекст.

Этот промпт эффективен, потому что он использует ключевые механики, описанные в исследовании:

1. Предоставление "коллаборативной информации" на естественном языке: Вместо того чтобы заставлять LLM гадать, мы даем ему четкие данные: игроки, которым нравятся X и Y, часто рекомендуют A и B. Это самая важная часть, напрямую реализующая идею статьи.
2. Заземление (Grounding): Модель не просто фантазирует на тему настольных игр, а работает с конкретным, ограниченным набором данных ("Крылья" и "Каркассон"), которые были предварительно отфильтрованы на основе "социального доказательства".
3. Снижение пространства для ошибки: Мы сужаем задачу с "посоветуй мне игру из тысяч существующих" до "сравни две конкретные игры и выбери лучшую для меня". Это значительно повышает точность и релевантность ответа.
4. Структурирование запроса: Четкое разделение на "Мой профиль", "Контекст" и "Задание" помогает модели лучше понять все компоненты запроса и следовать инструкциям.

Этот пример работает по тем же фундаментальным причинам, что и предыдущий, но в другой предметной области:

1. Контекстуализация предпочтений: Промпт не просто говорит "я хочу в Италию", а предоставляет конкретный успешный референс ("мне понравился Лиссабон") и негативный референс ("не нравятся Париж, Рим"). Это уже создает для LLM четкий вектор.
2. Внедрение "мудрости толпы": Ключевой элемент — блок "Контекст от других путешественников". Он сообщает LLM: "Смотри, люди с такими же вкусами уже решили эту задачу, и вот к каким выводам они пришли". Это направляет рассуждения модели в русло, проверенное реальным опытом.
3. Сфокусированный анализ: Модели не нужно перебирать все города Италии. Ее задача сводится к детальному сравнению двух заранее отобранных, наиболее вероятных кандидатов (Болонья и Неаполь). Это резко повышает качество и глубину анализа.
4. Четкая структура вывода: Требование оценить города по шкале и дать финальное обоснование заставляет LLM структурировать ответ и делает его более полезным и легким для восприятия пользователем.

• A. Релевантность техникам промтинга: Да, исследование предлагает конкретный метод обогащения промпта — добавление "коллаборативных сигналов" в виде естественного языка.
• B. Улучшение качества диалоговых ответов: Да, основная цель исследования — повысить точность рекомендаций, что является прямым улучшением качества ответа в特定 задаче.
• C. Прямая практическая применимость: Низкая для полного технического решения (требуется дообучение моделей-ретриверов), но высокая для адаптации основного принципа пользователем вручную.
• D. Концептуальная ценность: Очень высокая. Объясняет, почему LLM "из коробки" плохо справляются с задачами, требующими понимания коллективных предпочтений, и как это можно исправить, "подавая" эти данные в промпте в правильном формате.
• E. Новая полезная практика (кластеры):
  • Кластер 1 (Техники формулирования): Предлагает продвинутую технику контекстуализации, похожую на few-shot, где примерами служат действия "похожих пользователей".
  • Кластер 2 (Поведенческие закономерности): Подтверждает, что LLM лучше обрабатывают информацию, поданную на естественном языке, чем в виде абстрактных токенов или ID. Также касается проблемы "lost in the middle", подчеркивая важность подачи краткой и релевантной информации.
  • Кластер 6 (Контекст и память): Является ярким примером продвинутой RAG-стратегии (Retrieval-Augmented Generation), адаптированной для широкого пользователя.
  • Кластер 7 (Надежность и стабильность): Повышает надежность рекомендаций, основывая их на реальных данных о поведении других пользователей, а не на общих знаниях модели.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции промптов, объясняет, как структурировать запрос, и раскрывает неочевидные особенности поведения LLM (например, слабую реакцию на "soft tokens" в сравнении с обычным текстом). Это дает +15 баллов к базовой оценке.

Исследование получает высокую оценку, так как раскрывает фундаментальный принцип улучшения ответов LLM в задачах, связанных с предпочтениями: модели нужно предоставлять "социальное доказательство" (social proof) в виде текста.

Итоговая оценка 82 отражает баланс между огромной концептуальной ценностью и возможностью ручной адаптации принципа с одной стороны, и полной невозможностью прямого применения описанного технического решения с другой.