Temperature и надёжность: почему instruction-tuned модели стабильны при любой температуре

Температуру боятся зря. Instruct-модели держат точность от T=0 до T=1.0 — и sparse, и dense одинаково стабильны. Исследование проверило как параметр temperature (случайность генерации) влияет на точность: sparse MoE-модели с условной маршрутизацией против dense-моделей. Гипотеза рухнула. Разница не в архитектуре (sparse vs dense), а в наличии instruction tuning. Instruct-модели концентрируют вероятность на правильном формате — даже при высокой температуре правильный вариант имеет перевес в распределении. Mixtral-8x7B-Instruct и Qwen2.5-3B-Instruct держат точность при любой температуре. Падает только base-модель OLMoE без tuning: с 5.8% до 3.8%.