Trustworthy Verdict Rate (T): проверка LLM-судьи на повторяемость, порядок ответов и точность

Парадокс: судья повторял свои вердикты в 100% запусков, а с эталоном совпадал как монетка. Метод Trustworthy Verdict Rate (T, «доля вердиктов, которым можно верить») позволяет проверить, можно ли доверять большой языковой модели (LLM), которая выбирает лучший из двух ответов. Хватает 30–50 пар, где вы сами знаете верный вердикт. Фишка: поменяй ответы A и B местами. «Стабильный» судья просто каждый раз выбирал того, кто показан первым. Вердикт считается надёжным, только если он повторяется, переживает перестановку ответов и совпадает с эталоном.