Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Смена LLM-судьи меняет лидерборд: почему перепроверка вторым судьёй от другого провайдера не заменяет калибровку на людях
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Парадокс: Дорогие флагманы судят ответы хуже быстрых дешёвых моделей, а перепроверка вторым судьёй не повышает точность. Протокол двустороннего отбора судьи на малой выборке позволяет надёжно сравнивать промпты и модели всего на 25–50 примерах. Фишка: ошибки разных судей не случайны — они промахиваются синхронно на одних и тех же парах. Один проверенный лёгкий судья даёт 96% попаданий в выбор людей (22 из 23 пар) и обходит жюри из 5 моделей.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку