LLM-as-Judge: почему AI-арбитр меняет вердикт, когда меняется сам арбитр

Пять оценок одной модели — это не пять независимых мнений. Это один голос, произнесённый пять раз. Метод зеркального теста позволяет за два запроса отличить надёжный вердикт AI-арбитра от случайного. Меняешь A и B местами — если победитель остался тем же, вердикту можно доверять. Если поменялся — позиционный перекос: модель выбирает то, что стоит первым, а не то, что лучше. 14–15% вердиктов меняются просто от перестановки — даже у топовых моделей.