Нестабильность LLM-судьи: почему модель по-разному ранжирует одни и те же варианты

40% — именно столько совпадает, когда шлёшь модели один и тот же запрос на ранжирование дважды в один день, байт в байт одинаковый. Дело не в промпте и не в баге — сервер смешивает твой запрос с сотней чужих в одну пачку (батч) для экономии вычислений, и от состава этой пачки чуть плывут вычисления модели. Если просишь LLM расставить варианты по местам одним ответом — результату нельзя верить без повторных прогонов. Для надёжности нужно 90% совпадений в тот же день — получили только 40%, на следующий день чуть лучше (78% против нужных 99%).