Гранулярность промптов: широкий контекст vs. узкие задачи

Исследователи сравнили сложные инженерные инструменты для генерации кода с простым промптингом на современных LLM (GPT-4o-mini, Llama 3.3, DeepSeek V3). Парадокс: простой промпт работает лучше навороченных решений, созданных для старых моделей. Новые LLM настолько сильны, что многоходовые стратегии и сложная обработка результатов больше не дают преимущества. Главное открытие – уровень детализации запроса критически влияет на результат и затраты. Широкий контекст (один запрос на всю задачу) – быстро, но средняя точность. Узкие задачи (отдельный запрос на каждую часть) – точнее, но в 7.5 раз больше обращений к модели. Гибридный подход объединяет оба: сначала общий запрос, потом точечные доработки только пробелов. Почти та же точность, но экономия 20% запросов.