PentestEval: как LLM справляются со сложными многошаговыми задачами

Обнаружено: LLM проваливаются на многошаговых задачах. Когда нужно построить цепочку из 6 шагов где каждый зависит от предыдущего - успех только 31% даже с ручной помощью, автономные агенты сливаются почти полностью (3-6%). Модульная декомпозиция позволяет разбить сложную задачу на независимые блоки с проверками - каждый модуль решается отдельно и передаёт результат следующему. Фишка: вместо «сделай всё сразу» - разбей на модули с явными входами/выходами. Каждый модуль - отдельный промпт, результат проверяется, исправляется, затем идёт дальше по цепочке. Снижает нагрузку на контекст, позволяет отлавливать ошибки рано - успех растёт с 3-6% до 31%.