LLM для поиска ошибок в коде: модели с reasoning против промпт-инжиниринга

Один и тот же GPT-4 находит строку с ошибкой в коде с точностью 40% или 80% — разница в двух словах промпта. Исследование 13 моделей (от GPT-3.5 до o3) на поиске багов в коде новичков показало: модели делятся на два типа по механике работы. С внутренним reasoning (o3, DeepSeekR1, o1) находят ошибки стабильно почти с любым промптом — 75-83% точности. Без reasoning (GPT-4, GPT-3.5, Llama) зависят от формулировки в 2 раза: если не упомянул "код новичка" в промпте, модель ищет ошибки по enterprise-стандартам (производительность, security) вместо логики выполнения.