3,583 papers
arXiv:2511.03928 72 6 нояб. 2025 г. PRO

LENS: LLM-рубрика для оценки качества данных без эталонной разметки

КЛЮЧЕВАЯ СУТЬ
LLM выдают противоречивые оценки при сравнении данных. Попросишь оценить текст "похож ли на стиль А или Б" — получишь "похож на оба". Сравнишь А с Б, потом Б с А — получишь разные выводы. LENS позволяет объективно оценить соответствие твоих данных эталону — без этих противоречий и без ручного разбора каждого примера. Метод создаёт языковую рубрику различий (что общее, чем эталон лучше, чем твои данные отличаются) и оценивает каждый пример по ней. Финальный скор — средняя оценка с поправкой на три типа биасов LLM (order, label, score).
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Контент доступен только для PRO подписчиков

Чтобы получить доступ к концептам этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с