Предвзятость красноречия: LLM-оценщик верит тому, кто убедительнее аргументирует — независимо от правоты

LLM, которому вы дали роль судьи, выбирает не сильнейшую позицию — а лучше сформулированную. Форма подачи влияет на решение так же, как содержание. Причём это не баг одной модели — работает везде. Метод «симметричной защиты» позволяет получать честную оценку конкурирующих вариантов, даже если один описан в три раза подробнее другого. Фишка: перед оценкой заставьте модель сыграть адвоката каждой стороны с одинаковым усилием. Когда оба аргумента сгенерированы одним «голосом» и с одинаковой энергией, риторическое преимущество исчезает — и оценка в финале опирается на содержание, а не на яркость описания.