Sage: оценка надёжности LLM-судей без человеческой разметки

Просишь LLM выбрать лучший из трёх вариантов текста — она меняет мнение в 76% случаев просто из-за перестановки порядка. Позиционный bias реален. Метод Sage позволяет проверять надёжность оценок LLM-судьи без человеческой разметки — видишь где модель стабильна, а где плывёт. Каждую пару оцени дважды — в прямом и обратном порядке. Если модель говорит "А лучше Б", а потом "Б лучше А" — позиционный bias налицо. Плюс проверка транзитивности: если А > Б > В, то А должно быть > В, иначе логика противоречива. Результат: две метрики — IPI (как часто модель меняет мнение) и TOV (сколько противоречий в полном наборе).