LLM-as-a-Judge: когда "нестабильность" моделей — миф из-за плохих правил оценки

Парадокс: Модели обвиняли в нестабильности к формулировкам промптов — точность якобы прыгает от 0.25 до 0.90 при переформулировке вопроса. Оказалось, проблема не в моделях, а в методах оценки. Regex и word-matching проверяют совпадение слов, не смысла: модель пишет «пятьдесят лет» вместо «50 лет» — оценка засчитывает ошибку, хотя ответ верный. Метод позволяет отличить реальную нестабильность модели от артефактов плохой оценки — видеть когда модель работает стабильно, просто отвечает разными словами. LLM-судья проверяет семантику: «50 лет» и «пятьдесят лет» для него одно и то же. Разброс точности снизился в 5-10 раз, корреляция рейтингов моделей выросла с 0.30 до 0.92.