TL;DR
Исследование проверяет, как нейросети рисуют процесс по шагам: сборку, складывание, физический опыт, ход головоломки. Главное, что узнали: результат определяет не только сам рисующий модуль, но и языковая модель, которая стоит перед ним и переписывает ваш запрос. Ещё сильно влияет способ вывода: кадры по одному или все сразу сеткой в одной картинке.
Боль знакома. Просишь «покажи 4 шага сборки», а на третьем кадре предмет меняет форму, детали собираются в неправильном порядке или появляется «лишний» шаг. Причина в том, что при генерации сеткой модель держит все шаги в голове одновременно. Рисующий модуль плохо планирует, и ошибка первого кадра тянется дальше. Сильная языковая часть умеет расписывать шаги, помнить условия и сверять результат с задачей.
Что работает: выводить кадры по одному с текстовым планом между ними, сначала расписывать подробный промпт, а затем проверять результат и переделывать ошибочные кадры. В статье такой цикл «проверил → исправил» поднял результат на несколько пунктов. Ещё сильнее его улучшало, когда агент сначала строил промежуточную схему кодом.
Схема метода
В статье нет одной техники. Это три рычага, которые авторы проверили по отдельности:
РЫЧАГ 1: Усилитель промпта — сильная LLM переписывает задачу в
подробный план шагов → рисующий модуль получает насыщенный промпт
РЫЧАГ 2: Пошаговый вывод (interleaved) — текст шага → кадр → текст шага → кадр
(а не одна картинка-сетка со всеми шагами)
РЫЧАГ 3: Цикл проверки — сгенерировал → агент осматривает кадры →
находит ошибочный шаг → перегенерирует его
(вариант: перед генерацией построить схему/симуляцию кодом)
Рычаги 1–2 работают в одном запросе или диалоге. Рычаг 3 требует нескольких запросов подряд (в статье это агентная обвязка на Codex).
Пример применения
Сильная зона метода: физические процессы с чёткой последовательностью. Это сборка, складывание, действия руками, эксперименты. Слабая зона: задачи, где цель задана одной картинкой-результатом без пояснений. Это самое слабое место даже у лучшей модели.
Задача: Селлер на Ozon делает для карточки товара инфографику «Как собрать складной стол за 4 шага». Нужны четыре кадра, где стол и руки выглядят одинаково, а детали ставятся в правильном порядке.
Промпт:
Ты помогаешь сделать пошаговую инструкцию для карточки товара на Ozon.
К сообщению приложено фото складного стола из коробки (фото 1) и схема
из паспорта (фото 2).
Работай так:
1. Сначала напиши план из 4 шагов сборки. Для каждого шага укажи:
что делаем, какие детали участвуют, как выглядит стол после шага.
Отдельно перечисли, что НЕ должно меняться между кадрами:
цвет столешницы (светлый дуб), форма ножек, ракурс камеры, белый фон.
2. Дождись моего «ок» по плану.
3. Затем генерируй кадры по одному: сначала текст шага, потом изображение.
Не рисуй все шаги одной картинкой-сеткой.
4. После каждого кадра проверь его по списку «что не должно меняться»
и по порядку сборки. Если нашёл ошибку — назови её и перегенерируй
этот кадр до перехода к следующему.
Результат: Модель сначала выдаст текстовый план с шагами и списком «неизменного». Потом пойдут кадры по одному: текст шага, изображение, короткая самопроверка. Если на каком-то кадре уехали форма ножек или фон, модель сама это отметит и перерисует кадр. Идеального результата ждать не стоит: на сложных сборках ошибки останутся.
Почему это работает
Слабость. Рисующий модуль плохо рассуждает: порядок действий, причины и следствия, что должно остаться неизменным. Когда все шаги нужно уместить в одну картинку-сетку, эта нагрузка падает на него целиком. Чем больше шагов, тем больше ошибок накапливается к концу. Слабые модели «плывут» уже к четвёртому кадру.
Сильная сторона. Языковая модель хорошо расписывает план, помнит условия, замечает несоответствия и сравнивает картинку с задачей. Авторы показали: разрыв между семействами моделей во многом объясняется именно языковой частью. Если подставить более сильную языковую модель в качестве усилителя, результат того же рисующего модуля заметно растёт.
Как метод обходит слабость. Он разгружает рисующий модуль. План и контроль берёт на себя языковая часть: она ведёт шаги по одному и проверяет каждый. Цикл проверки ловит ошибки до того, как они потянутся дальше. Когда агент сначала строил промежуточную схему кодом, результат был ещё лучше. Схема делает физические и логические состояния явными, и их не нужно «угадывать» на картинке.
Рычаги управления: - Количество шагов. Чем меньше шагов, тем меньше накопленной ошибки. Если шагов много, разбей инструкцию на блоки. - Список «что не должно меняться». Это то, что оценивали как «визуальную согласованность». Чем конкретнее список (цвет, форма, ракурс, фон), тем меньше дрейфа. - Проверка после каждого кадра или в конце. Первое надёжнее, второе дешевле. - Построить схему перед рисованием. Для физики и логики попроси нарисовать или описать промежуточные состояния текстом или таблицей, а уже потом генерировать кадры.
Шаблон промпта
В статье нет готовых текстов промптов: шаблоны генерации вынесены в приложение, которого во входных данных нет. Шаблон ниже реконструирован по описанию двух вариантов обвязки (цикл проверки и цикл «сначала схема»). Это не авторский текст.
Задача: показать процесс «{что_происходит}» в {число_шагов} кадрах.
Входные материалы: {что_приложено}.
ЭТАП 1. План (текстом, без картинок)
Распиши {число_шагов} шагов. Для каждого шага укажи:
- что меняется
- какие объекты участвуют
- как выглядит мир после шага
Отдельно перечисли, что НЕ должно меняться между кадрами:
{что_неизменно}.
ЭТАП 2. Схема (если процесс физический или логический)
Перед рисованием опиши промежуточные состояния таблицей:
шаг → положение/форма/состояние ключевых объектов.
Проверь, что порядок шагов физически и логически возможен.
ЭТАП 3. Генерация по одному кадру
Для каждого шага: сначала текст шага, затем изображение.
Не создавай все шаги одной картинкой.
ЭТАП 4. Проверка и исправление
После каждого кадра проверь:
- выполнен ли шаг из плана
- нет ли невозможных изменений (физика, причина-следствие)
- не изменилось ли то, что должно оставаться прежним
Если есть ошибка — назови её и перегенерируй этот кадр.
Только после этого переходи к следующему.
Что подставлять: {что_происходит} — процесс одной фразой; {число_шагов} — лучше 3–5; {что_приложено} — фото, схемы, примеры; {что_неизменно} — цвет, форма, ракурс, фон, количество объектов.
🚀 Быстрый старт — вставь в чат:
Вот шаблон пошаговой генерации картинок с проверкой. Адаптируй под мою
задачу: [твоя задача]. Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, что именно показываем, сколько шагов и что должно оставаться неизменным на всех кадрах. Эти ответы нужны, чтобы план был конкретным, а проверка после кадров имела за что зацепиться.
Как исследовали
Авторы собрали бенчмарк WorldCast: 320 задач в 8 категориях и 1352 запрошенных кадра. Нужно было по тексту и картинкам нарисовать последовательность будущих состояний. Сравнили 12 моделей, от открытых до закрытых, включая видеомодели. Видео сводили к ключевым кадрам и оценивали одним LLM-судьёй по трём критериям: выполнена ли задача, правдоподобна ли причинность, сохраняется ли внешний вид. Судье помогали подсказки, написанные людьми.
Главные находки: - Лучшая закрытая модель уверенно держится даже на сложных задачах. Лучшая открытая — намного слабее, и разрыв растёт с усложнением. - Переход от пошагового вывода к сетке снижает результат лучшей модели примерно на 23 пункта из 100. В категории «логика и правила» падение с ~74 до ~23. - Подключение более сильной языковой модели-усилителя поднимает результат Nano Banana Pro с ~43 до ~61. - Цикл «осмотр → исправление» поднимает лучшую систему с ~73 до ~80 и Nano Banana Pro с ~61 до ~72. - Если агент сначала строит схему кодом, общий максимум ~82. Выигрыш особенно заметен в физике и логике, но неравномерен по моделям. - Чем больше шагов, тем больше накопленный контекст. У слабых систем точность падает к последнему шагу (у Nano Banana Pro с ~68 до ~49), у сильной остаётся стабильной.
Ограничения
⚠️ Зависимость от сильной языковой части: Основной выигрыш даёт мощная языковая модель-усилитель. В обычном чате вы не выбираете, какая LLM стоит за картинкой, и не всегда видите, переписывается ли ваш промпт.
⚠️ Доступность: Лучшие результаты получены на самых новых закрытых системах и с агентной обвязкой на Codex. В бесплатном чате часть шагов придётся делать вручную.
⚠️ Накопление ошибок: Чем длиннее цепочка, тем сильнее дрейф формы, количества и фона. На слабых моделях к четвёртому кадру точность заметно падает. Цикл проверки смягчает это, но не устраняет.
⚠️ Задачи «по картинке-цели»: Когда результат задан изображением без пояснений, даже лучшая модель справляется заметно хуже, а другие почти не справляются.
⚠️ Пошаговость не панацея: Для некоторых моделей разница между пошаговым выводом и сеткой небольшая. Выигрыш зависит от базового качества рисующего модуля.
⚠️ Оценка машиной: Качество оценивал один LLM-судья (с подсказками от людей). Ошибки судьи не исключены, а готовых промптов статья не публикует.
⚠️ Цикл с кодом: Он не даёт равномерного прироста: в части категорий результат даже падает по сравнению с простым циклом проверки.
Ресурсы
WorldCast: Exploring Intelligent Visual Generation in World State Prediction — статья, в которой авторы вводят четырёхуровневую иерархию визуальной генерации (L1–L4) и задачу world state prediction. Сравниваются GPT-Image-2/2.5, Nano Banana Pro, Seedream, Seedance, Wan, Gemini Omni и открытые модели (Emu3.5, BAGEL, SenseNova-U1, Qwen-Image). Имена авторов и университеты во входных данных не указаны.