LLM-as-Judge нестабильность: один и тот же ответ получает разные оценки в зависимости от модели, запуска и температуры

Парадокс: температура 0, которую все ставят «для стабильности», у Claude почти не работает — в ряде критериев разброс оценок после этого даже растёт. Метод надёжной LLM-оценки позволяет автоматически проверять качество контента без случайных чисел, которым нельзя верить. Фишка: важен не средний балл, а его разброс — три запуска с результатом 0.4→0.9→0.5 говорят не о плохом контенте, а о расплывчатом критерии. Стабильно занижает — лучше, чем случайно правильно: систематическую ошибку можно учесть, случайный выброс — нельзя.