SLMJury: глубина рассуждения при оценке через LLM — когда просить думать, а когда нет

Парадокс: «Подумай шаг за шагом» — фраза которую все добавляют везде по привычке — при проверке фактов снижает точность, а не улучшает её. Исследование позволяет наконец разделить два режима оценки и не терять точность там, где она критична. Фишка: один тип задачи — «Ответь одним словом», другой — «Думай по шагам». Для фактов критерий либо совпал, либо нет — лишние шаги рассуждения только сбивают модель с простого правильного вывода. Для суждений критерий размытый — пошаговое рассуждение структурирует поиск по соображениям, и здесь прирост достигает +23% точности.