LLM как судья: позиционное смещение, парадокс надёжности и протокол честной оценки

Парадокс: две модели из 21 показали идеальную воспроизводимость — и при этом сильнейшее позиционное смещение из всех протестированных. Они всегда выбирали первый вариант. Всегда. Независимо от того, что там написано. Метод двойного запроса позволяет за две минуты проверить — LLM судит по содержанию или просто по очерёдности. Запусти одно сравнение дважды с переставленными вариантами. Совпали победители — оценке можно верить. Разошлись — модель реагировала на место в списке, а не на качество текста. Аргументы при этом звучат одинаково убедительно в обоих случаях — и именно это делает ловушку незаметной.