Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Weakest-Link оценка: почему средний балл обманывает, когда просишь LLM оценить что-то по нескольким критериям
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Средний балл 0.79 звучит солидно. Но за ним прячется провал: точность фактов всего 0.41 — и это критично для безопасности. Метод слабого звена позволяет находить критический провал, который тонет в красивом среднем числе. Вместо среднего берёшь минимум среди зависимых критериев — модель больше не может замаскировать провал беглостью и стилем. Точность 0.41 становится вердиктом, а не строчкой в общем зачёте.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку