Language Bias в LLM-as-a-Judge: почему европейские языки побеждают, и при чём тут не только fluency

Парадокс: LLM-судья понимает вопрос на португальском, но проваливается в оценке ответа на нём — точность падает на 7%, если ответы не на английском. При этом если вопрос на португальском, а ответы на английском — точность падает всего на 2%. Фишка: язык ОТВЕТА влияет на точность оценки в 3-4 раза сильнее, чем язык ВОПРОСА. Метод позволяет обнаружить и обойти системное смещение LLM-судей, когда используешь их для оценки неанглийских текстов. Суть проблемы: модели не просто "хуже знают" китайский или суахили — они систематически занижают оценки текстам на неанглийских языках, особенно из незападных регионов, даже при одинаковой "гладкости" текста. Это происходит на уровне внутренних представлений о правильности, а не только статистики встречаемости в данных.