arXiv:2512.03955 66 3 дек. 2025 г. PRO

Семишаговый workflow для многошаговых задач: verify-before-execute паттерн

КЛЮЧЕВАЯ СУТЬ

Исследование показывает как LLM-агенты справляются с задачами пошагового планирования через бенчмарк на базе Blocksworld (роботическая рука перемещает блоки). Агент работает по семишаговому workflow: получить правила → узнать текущее состояние → сгенерировать план → проверить план → скорректировать ошибки → исполнить → подтвердить результат.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Контент доступен только для PRO подписчиков

Чтобы получить доступ к концептам этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

📖 Простыми словами

Контент доступен только для PRO подписчиков

Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

TL;DR

Абзац 1 - Что это:
Исследование на бенчмарке Blocksworld показывает, как LLM-агенты решают задачи пошагового планирования. Семишаговый workflow включает: получение правил, анализ текущего состояния, генерацию плана, его проверку, коррекцию ошибок, исполнение и подтверждение результата.

Абзац 2 - Проблема:
Хотя модели хорошо генерируют планы, они слабо их валидируют перед исполнением. При усложнении задач (дополнительные ограничения, неполная информация) успешность падает с 80% до 60%, а количество итераций растёт с 1.1 до 3.1. Агент начинает действовать без уверенности в корректности плана.

Абзац 3 - Решение:
Добавить явный шаг верификации перед исполнением — проверка плана на соблюдение всех ограничений. Это снижает ошибки и экономит токены: две попытки с верификацией эффективнее пяти без неё.

Абзац 4 - Метод:
Workflow состоит из семи этапов: получение правил задачи, анализ текущего состояния, генерация плана, верификация каждого шага на соответствие ограничениям, коррекция ошибок, исполнение и подтверждение результата.

Абзац 5 - Применение:
На примере переезда в новую квартиру: нужно упаковать вещи так, чтобы хрупкое не повредилось, тяжёлое лежало внизу, а необходимое в первый день оставалось доступным сверху.

Абзац 6 - Структура работы:
Сначала определяю ограничения: хрупкие предметы не должны быть под тяжёлыми, предметы первой необходимости размещаю в верхней части, всего доступно 5 коробок. Затем перечисляю содержимое: посуда (хрупкая, займёт 2 коробки), книги (тяжёлые, 1 коробка), одежда (лёгкая, 1 коробка) и остальные вещи.

Далее составляю схему распределения по коробкам, учитывая все ограничения. После этого проверяю результат: убедиться, что ничего не забыто, что хрупкие вещи защищены от давления, что косметика и туалетные принадлежности легко доступны в первый день, и что всё поместилось в пять коробок. Если обнаружу проблемы, переделаю распределение и проверю снова. В конце представляю финальный вариант упаковки.

Этот подход работает потому, что модели часто создают планы без учёта всех ограничений. Проверка на каждом этапе помогает выявить конфликты — например, когда косметика оказывается внизу и недоступна, или когда хрупкие предметы находятся под тяжёлыми вещами — и исправить их до финального результата.

Для оптимизации можно пропустить верификацию в простых задачах без сложных правил, добавить специфичные критерии проверки под конкретную задачу, или повторить цикл планирования и коррекции несколько раз для особо сложных случаев.

Попроси модель объяснять, что именно она проверяет и почему обнаружила ошибку — это помогает увидеть логику её рассуждений.

Шаблон промпта структурирует работу так: сначала определяются все правила и ограничения, затем описывается текущее состояние, после чего создаётся пошаговый план для достижения цели. Критически важный момент — верификация каждого шага плана относительно всех правил из первого пункта, с проверкой нарушений и прогрессом к цели. Если обнаружены проблемы, план корректируется и проверяется заново. Затем план выполняется пошагово с демонстрацией результатов, и в конце подтверждается, что цель достигнута. Сложные задачи с множественными ограничениями и неполной информацией показывают снижение точности до 60%, так как модель может перепутать правила или обратиться к несуществующим элементам. Затраты на обработку таких задач значительны — до 190,000 токенов (примерно $1.50 при использовании o3-mini), что неэффективно для простых случаев. Подход работает лучше всего для задач с явными критериями и проверяемым выходом, а не для творческих работ вроде написания статей или генерации идей. По сути, это структурирование процесса, который опытные пользователи уже применяют интуитивно. Агент на o3 решал задачи через MCP-интерфейс с симуляцией. Результаты показали четкую зависимость от сложности: базовые сценарии решались с 80% успехом за 1.1 попытки и 76 секунд, но при добавлении ограничений успешность падала до 70% с увеличением попыток до 2.2 и времени до 732 секунд. Когда информация была неполной, показатели еще больше ухудшались — 60% успеха, 3.1 попытки, 676 секунд. Основная сложность возникала при работе с частичной видимостью состояния, когда модель видела только верхние блоки стека.

В таких случаях агент начинал вызывать инструменты с именами несуществующих блоков, не справляясь с рассуждениями о скрытом состоянии. Интересно, что на задачах без решения модель показала идеальный результат — 100% точность в определении нерешаемых сценариев. Расход токенов рос непропорционально сложности: от 35,000 на простых задачах до 192,000 при частичной наблюдаемости, то есть в 5.5 раз больше.

Исследование основано на работе авторов из Helmut Schmidt University и Siemens AG, которые разработали симуляцию Blocksworld, MCP-сервер и реализацию для одного агента. Все материалы доступны в открытых репозиториях, а спецификация Model Context Protocol опубликована на официальном сайте.

Ценность работы заключается в выделении двух ключевых паттернов: семишагового workflow и подхода verify-before-execute. Хотя эти принципы можно применять вручную в обычном диалоге, они представляют собой скорее формализацию уже известных практик планирования, чем принципиально новый подход. Основной вклад — сама инфраструктура бенчмарка — остается недоступным без доступа к исходному коду. Семишаговый workflow хорошо работает для задач с ограничениями — упаковка, планирование проектов, распределение ресурсов. Ключевое наблюдение: модели генерируют планы быстро, но часто упускают нарушения ограничений, поэтому встроенная проверка перед исполнением значительно снижает количество ошибок. Это особенно полезно для тех, кто работает с многошаговыми задачами, где соблюдение правил критично. Однако при неполной информации эффективность падает до 60% — модель начинает путать правила или обращаться к несуществующим элементам.

Меню

Семишаговый workflow для многошаговых задач: verify-before-execute паттерн

Контент доступен только для PRO подписчиков

Контент доступен только для PRO подписчиков

Контент доступен только для PRO подписчиков

Работа с исследованием

Результат адаптации