Декоративный CoT: как проверить, что LLM действительно думала, а не имитировала рассуждения

Claude правильно отвечает в 93% случаев — но её 11 шагов рассуждения влияют на ответ лишь в 1.7% случаев. Step-Level Evaluation позволяет за несколько запросов проверить, реально ли модель шла по шагам к выводу — или сначала «решила», а потом написала убедительное объяснение. Убери один шаг из цепочки и переспроси модель: если ответ не изменился — шаг был декорацией, а не причиной. Подробность рассуждений — это стиль, а не честность.