Концептуальные vs процедурные промпты: почему тип вопроса к LLM определяет результат

Студенты спрашивающие ChatGPT как решить задачу? получили средний результат -1.8 балла. Те кто спрашивал что означает эта концепция? получили +0.43. Разница в 2+ балла только от типа вопроса (исследование на 49 студентах курса физики). Концептуальные вопросы ('почему ускорение влияет так?') позволяют получать качественные объяснения от LLM и замечать ошибки модели вместо слепого копирования процедурных шагов. Фишка: LLM хорош в объяснении идей но плох в процедурных шагах. В исследовании 95% студентов получили хотя бы один неверный ответ от ChatGPT. Те кто задавал 'почему?' — замечали ошибку и исправляли. Те кто просил 'следующий шаг' — копировали не задумываясь. Один пропущенный термин ('величина ускорения') создал разницу в 18 баллов между лучшим и худшим студентом.