Ликерт или Нет LLM Абсолютные Оценки Релевантности на Тонких Ординальных Шкалах

Это исследование оспаривает распространенное мнение, что языковые модели лучше ранжируют списки (listwise ranking), чем оценивают элементы по отдельности (pointwise scoring). Авторы показывают, что если для поштучной оценки использовать более детализированную шкалу (например, от 0 до 10 баллов с описанием каждого уровня), то ее эффективность становится сравнимой или даже превосходит сложное списочное ранжирование.

Ключевой результат: Увеличение детализации шкалы оценки (например, до 11 баллов) делает поштучную оценку документов такой же эффективной, как и более сложное списочное ранжирование.

Суть метода заключается в отказе от неэффективных способов оценки в пользу более точного и структурированного подхода.

Раньше считалось, что для выбора лучшего варианта из нескольких (например, самого релевантного документа) есть два пути: 1. Поштучная бинарная оценка: Спрашивать модель про каждый документ: «Этот документ релевантен запросу? Да/Нет». Этот метод неточен, так как не позволяет различать "очень релевантный" и "слегка релевантный" документы. 2. Списочное ранжирование: Дать модели сразу весь список документов и попросить: «Отсортируй эти документы от самого релевантного к наименее релевантному». Этот метод считался более точным, но он сложен, требует больше ресурсов и не всегда удобен.

Исследование предлагает третий, более эффективный путь: детализированная поштучная оценка.

Методика для пользователя: Вместо того чтобы просить модель сделать бинарный выбор или отсортировать список, вы просите ее для каждого элемента выставить оценку по заранее определенной, достаточно детальной шкале (например, от 0 до 10). Самое важное — предоставить модели рубрику, то есть краткое описание, что означает каждый балл или группа баллов.

Это заставляет модель не просто сравнивать элементы между собой, а проводить глубокий абсолютный анализ каждого элемента на соответствие вашим критериям. В результате вы получаете не просто отсортированный список, а еще и количественную оценку каждого варианта, что дает гораздо больше информации для принятия решения.

*Прямая применимость:

Метод можно использовать немедленно и без какой-либо подготовки. Любой пользователь, который хочет сравнить несколько вариантов (статьи, идеи, продукты, резюме), может просто вставить в свой промпт инструкцию с просьбой оценить каждый вариант по 10-балльной шкале и предоставить рубрику для оценки. Это напрямую улучшает качество выбора лучшего варианта.

• Концептуальная ценность: Главная идея, которую пользователь выносит из этого исследования: гранулярность инструкции определяет качество ответа. Вместо того чтобы задавать LLM общие вопросы, нужно давать ей точные инструменты для оценки (детальную шкалу и критерии). Это помогает понять, что LLM — это не "черный ящик", а система, чьим поведением можно и нужно управлять через четкость и детализацию запроса.

• Потенциал для адаптации: Метод легко адаптируется под любую задачу, где требуется оценка. Вместо "релевантности" можно оценивать "креативность", "убедительность", "соответствие бренду", "простоту изложения" и т.д. Механизм адаптации прост:

  1. Определите, что именно вы хотите оценить.
  2. Создайте шкалу (0-10 — хороший стандарт).
  3. Напишите короткую рубрику: что значат низкие, средние и высокие баллы.
  4. Включите это в ваш промпт.

Этот промпт эффективен, потому что он в точности реализует выводы исследования:

1. Детализированная шкала (0-10): Вместо вопроса "что лучше?" мы просим присвоить численную оценку. Это заставляет LLM провести более глубокий анализ, а не просто поверхностное сравнение.
2. Четкая рубрика: Инструкция Шкала и критерии оценки — это ключевой элемент. Она дает модели "семантические якоря". LLM точно знает, что означает "10", "7" или "4" в контексте моей задачи. Это устраняет двусмысленность и направляет анализ.
3. Поштучный анализ: Модель вынуждена рассмотреть каждый вариант (Крит, Пхукет, Лиссабон) отдельно и применить к нему всю шкалу критериев, прежде чем вынести вердикт. Это предотвращает "эффект первого впечатления" или упрощенное сравнение.
4. Структурированный вывод (JSON): Требование выдать ответ в JSON не только удобно для пользователя, но и дополнительно дисциплинирует модель, заставляя ее четко следовать формату "вариант-оценка-обоснование".

Этот пример работает по тем же фундаментальным причинам, что и предыдущий, демонстрируя универсальность метода:

1. Абсолютная, а не относительная оценка: Промпт не спрашивает "кто из них лучше?". Он требует провести независимую экспертизу каждого кандидата в вакууме, основываясь на строгих критериях. Это позволяет выявить сильные и слабые стороны каждого, а не просто выбрать "наименее плохого".
2. Контекстуализированная рубрика: Шкала оценки переведена на язык конкретной задачи. "10 баллов" — это не абстрактная "хорошесть", а четкое соответствие трем требованиям: SMM, текст, графика. Модель получает точную "линейку" для измерения каждого кандидата.
3. Принуждение к анализу: Чтобы выставить оценку, LLM обязана сопоставить информацию из резюме (например, "5 лет в журналистике") с критериями из рубрики (требуется "умение писать вовлекающие тексты"). Это заставляет ее делать логические выводы, а не просто пересказывать резюме. В итоге Анна, несмотря на "отличное владение словом", не получит высший балл, так как не соответствует двум другим требованиям.

• A. Релевантность техникам промтинга: Да, исследование напрямую сравнивает два фундаментальных подхода к промтингу для задач ранжирования (поштучный и списочный) и предлагает конкретную, легко реализуемую технику для улучшения первого.
• B. Улучшение качества диалоговых ответов: Да, применение выводов напрямую улучшает качество ответов в задачах, требующих ранжирования или выбора лучшего варианта из нескольких (например, в RAG-системах или при анализе нескольких источников).
• C. Прямая практическая применимость: Абсолютно. Пользователь может немедленно применить главную идею — использование детальной оценочной шкалы — без какого-либо кода или специальных инструментов, просто изменив формулировку промпта.
• D. Концептуальная ценность: Очень высокая. Исследование убедительно ставит под сомнение популярную гипотезу о том, что LLM лучше справляются с относительными сравнениями, чем с абсолютными оценками. Оно дает пользователю ключевое понимание: LLM может выносить точные абсолютные суждения, если предоставить ему достаточно детализированную шкалу и четкие критерии.
• E. Новая полезная практика (кластеры):
  • Кластер 1 (Техники формулирования): Ядро исследования — сравнение поштучного (pointwise) и списочного (listwise) промтинга.
  • Кластер 2 (Поведенческие закономерности): Раскрывает, что способность модели к точной оценке сильно зависит от гранулярности (размера шкалы) запрошенного ответа.
  • Кластер 3 (Оптимизация структуры): В приложении к статье даны конкретные примеры хорошо структурированных промптов с XML-тегами и JSON-форматированием.
  • Кластер 7 (Надежность и стабильность): Повышение точности ранжирования напрямую ведет к более надежным и релевантным результатам.
• Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции (шкалы оценок), объясняет, как структурировать запросы на оценку, и раскрывает неочевидную особенность поведения LLM (эффективность детальной шкалы).

Исследование получает 95 баллов, так как оно предоставляет чрезвычайно ценный, немедленно применимый и контринтуитивный вывод для любого пользователя, который работает с LLM для решения задач анализа, сравнения и выбора.