3,583 papers
arXiv:2508.05512 70 7 авг. 2025 г. PRO

LLM-as-a-Judge для RAG: структурированный промпт для оценки качества поиска и генерации

КЛЮЧЕВАЯ СУТЬ
LLM отлично генерируют ответы, но плохо оценивают качество по шкале 1-10 — цифры непредсказуемы и бессмысленны. Метод превращает Claude или GPT в судью для RAG-систем: вместо 'оцени от 1 до 10' даёшь структурированный промпт с четырьмя критериями и получаешь обоснованный выбор между двумя вариантами. LLM сравнивает по релевантности документов, качеству ранжирования, полезности ответа и соответствию источникам — выдаёт победителя (А/Б/Ничья) с объяснением за 2-3 предложения.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с