TL;DR
Auto-Director — это конвейер из четырёх ролей для автоматического монтажа видео. Планировщик собирает проверенные факты и по ним пишет сценарий. Материаловед превращает сырое видео в текстовые описания кадров. Монтажёр подбирает клипы под каждую сцену. Критик оценивает каждую сцену отдельно и возвращает точечные правки тому, кто ошибся. Сама система — это код с видеообработкой. Но три принципа из неё переносятся в промпты и инструкции агентам.
Главная находка: без отдельного шага «сначала факты, потом сценарий» модель уверенно рассказывает неправду. Она пишет гладко, а даты, имена и причинно-следственные связи берёт из памяти. Когда авторы убрали поиск фактов, точность упала сильнее всего: с 4,34 до 3,21 из 5. Вторая находка: линейная цепочка «сделал и отдал» копит ошибки. Одна неудачная сцена портит весь результат, и починить её нечем.
Суть метода в разделении ответственности. Факты проверяются отдельно от красивого текста. Мультимодальное содержимое переводится в текст с жёсткой структурой. Критик ставит оценки 1–5 по каждой сцене, пропускает сцены с оценкой 4 и выше, остальные отправляет на доработку (максимум 3 круга) и называет, кто должен исправлять.
Схема метода
ШАГ 1. Планировщик: тема → подзапросы → только подтверждённые факты → сценарий
(JSON: озвучка / визуальный запрос / длительность на каждую сцену)
ШАГ 2. Материаловед: видео → нарезка на планы → номер и время на кадре
→ JSON-описание каждого плана → текстовый индекс
ШАГ 3. Монтажёр: поиск кандидатов по тексту (топ-5) → переранжирование
мультимодальной моделью (смысл 0,5 / атмосфера 0,3 / тайминг 0,2)
→ кадрирование под формат
ШАГ 4. Критик: оценка каждой сцены (смысл 1–5, эстетика 1–5)
→ сцена прошла при обеих оценках ≥ 4 → прошедшие «замораживаются»
→ остальные получают сигнал и возвращаются исполнителю
→ максимум 3 круга
Сигналы критика:
F_retrieval — клип не тот, но замена есть → искать заново с уточнённым запросом
F_script — подходящего клипа нет → Планировщик переписывает текст сцены
F_layout — плохой кадр → Монтажёр меняет кадрирование
F_timing — резкий склейка / нарушена длительность → Монтажёр правит тайминг
Каждый шаг — отдельный вызов модели. Всё вместе — программный конвейер.
Пример применения
Видеомонтаж читателю обычно не нужен, а принцип «факты → структурированный сценарий → критик по сценам» нужен для любого сценария. Берём ролик, где ошибка в факте стоит репутации.
Задача: Вы ведёте канал о российском бизнесе и готовите 60-секундный ролик для VK Видео «Как Яндекс пришёл от поискового сайта к экосистеме». Нужен сценарий, где каждая дата и имя проверены, и к каждой сцене описан визуал.
Промпт:
Ты работаешь как команда из двух ролей: Планировщик и Критик.
ШАГ 1. ПЛАНИРОВЩИК: ФАКТЫ
Тема: «Как Яндекс пришёл от поискового сайта к экосистеме».
Разбей тему на 6–8 мелких вопросов (даты основания, ключевые запуски, IPO, смена модели).
По каждому вопросу найди ответ через поиск. Оставь только то, что подтверждено
источником. Выведи таблицу: факт | источник | подтверждён (да/нет).
Всё неподтверждённое выброси. Дальше использовать можно только строки со статусом «да».
Не добавляй ни одной даты, имени или причины, которых нет в таблице.
ШАГ 2. ПЛАНИРОВЩИК: СЦЕНАРИЙ
Напиши сценарий максимум на 10 сцен в JSON. Каждая сцена:
{
"озвучка": "текст диктора, собранный только из подтверждённых фактов",
"визуальный_запрос": "что показать в кадре: конкретное событие, человек, объект или место (не абстракция)",
"длительность_сек": число
}
Сумма длительностей — 60 секунд.
ШАГ 3. КРИТИК
Проверь каждую сцену отдельно. Выставь две оценки от 1 до 5:
- «смысл»: озвучка точно соответствует таблице фактов и визуальному запросу;
- «ритм»: длительность разумна, переход к соседним сценам не резкий.
Для каждой сцены с оценкой ниже 4 дай сигнал: номер сцены, тип проблемы
(факт не подтверждён / визуал не показывает сказанное / нарушена длительность),
что исправить.
ШАГ 4. ДОРАБОТКА
Перепиши только сцены с сигналами. Сцены с обеими оценками ≥ 4 не трогай.
Повтори шаги 3–4, не больше 3 кругов. В финале выведи итоговый JSON
и таблицу оценок по сценам.
Результат: Модель сначала покажет таблицу фактов со статусами и источниками. Затем выдаст сценарий в JSON, оценки критика по каждой сцене и список сигналов. Дальше пойдёт один-три круга правок, в которых меняются только слабые сцены. В конце будет итоговый JSON и таблица оценок.
Почему это работает
Слабость. Когда модель одновременно «вспоминает факты» и «пишет красиво», беглость маскирует ошибки. Текст звучит убедительно, поэтому неверная дата проходит незамеченной. Вторая слабость: при проверке всего результата целиком модель смотрит на общее впечатление и пропускает локальные ошибки.
Сильная сторона. Модель хорошо справляется с узкими задачами: найти подтверждение конкретному утверждению, оценить один фрагмент по шкале, переписать один абзац. Она также стабильнее читает структурированный текст (JSON), чем «свободный» материал.
Как метод использует это. Факты отделяются от стиля и становятся жёстким фильтром: нет подтверждения — не пишем. Оценка идёт по каждой сцене отдельно, и каждая ошибка получает ровно один тип сигнала. Поэтому правка точечная, а прошедшие сцены не портятся при переписывании.
Рычаги управления: - Порог (≥ 4) → поднимите до 5 для критичных текстов, снизьте до 3 для черновика. - Число кругов (3) → меньше для быстрых задач, больше для публичных материалов. - Число сцен (10) → под размер вашего текста. - Типы сигналов → замените на свои: «факт / тон / длина / юридический риск». - Веса критериев (0,5 / 0,3 / 0,2) → поставьте больший вес тому, что для вас критично.
Шаблон промпта
Оригинал — код. Ниже перенос его логики в промпт для чата или агента: роли, JSON-схема и сигналы сохранены.
Ты работаешь как конвейер из ролей: Планировщик → Материаловед → Монтажёр → Критик.
Ты выполняешь роли по очереди, не смешивая их.
Тема: {тема}
1. Разбей тему на атомарные подзапросы (6–8 штук).
2. По каждому найди подтверждение в {источники: поиск / мои документы}.
3. Оставь только подтверждённые утверждения → таблица K: факт | источник.
4. Правило: нельзя вводить даты, имена и причинно-следственные связи, которых нет в K.
5. Собери сценарий S: максимум {число_сцен} сцен в JSON:
{"озвучка": "...", "визуальный_запрос": "...", "длительность_сек": N}
Абстрактные идеи переводи в названные события, людей, объекты или места.
Материалы: {список клипов / изображений / фрагментов с описанием}
Для каждого материала составь JSON-карточку:
{"id": "...", "общий_контекст": "...", "детали": "сущности, действия, ракурс", "время": "..."}
Дальше сопоставляй сцены с материалами только по этим карточкам.
Для каждой сцены выбери из карточек 5 кандидатов, затем оцени каждого:
смысловое соответствие (вес 0,5), атмосфера (0,3), подходящая длительность (0,2).
Выбери лучшего. Если материала нет — пометь «нет материала».
Проверяй каждую сцену отдельно. Оценки 1–5: «смысл» и «эстетика/ритм».
Сцена прошла, если обе оценки ≥ {порог}. Прошедшие сцены заморожены — не переписывай их.
Для непрошедших дай ровно один сигнал: номер сцены, тип сбоя, действие:
- F_retrieval: клип неверный, но замена есть → Монтажёр ищет заново с уточнённым запросом
- F_script: подходящего материала нет → Планировщик переписывает озвучку и запрос под то, что есть
- F_layout: плохая композиция → Монтажёр меняет подачу
- F_timing: резкий переход или нарушена длительность → Монтажёр правит тайминг
Повторяй до прохождения всех сцен или до {макс_кругов} кругов.
Что подставлять: {тема} — тема ролика или текста; {источники} — где искать факты; {число_сцен} — размер; {список материалов} — ваши клипы, фото или куски документов с описаниями; {порог} — 4; {макс_кругов} — 3.
🚀 Быстрый старт — вставь в чат:
Вот шаблон мультиролевого конвейера «Планировщик → Материаловед → Монтажёр → Критик».
Адаптируй под мою задачу: [твоя задача]. Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про тему, источники фактов, имеющиеся материалы, число сцен и порог — потому что без источников нельзя отделить факты от выдумки, а без порога и лимита кругов критик не поймёт, когда остановиться. Роль монтажёра она уберёт, если материалов нет.
Ограничения
⚠️ Настоящий метод — код: в статье это программный конвейер с нарезкой видео, векторным поиском, фильтром Калмана для кадрирования и вызовами API. В чате воспроизводится только логика ролей, а не сама система.
⚠️ Оценки ставит модель: метрики считает мультимодальная модель-судья. Её согласие с людьми заметное, но не полное (корреляция около 0,7). Критик в промпте тоже может ошибаться и завышать оценки.
⚠️ Человек всё равно лучше: профессиональные монтажёры выиграли по всем пяти критериям, особенно по композиции кадра. Авторы прямо пишут, что паритета с человеком нет.
⚠️ Одна основа, свой бенчмарк: все агенты работали на одной модели (Gemini 3.1 Pro), тест собрали сами авторы на 100 темах. Перенос на другие задачи не проверялся.
⚠️ Отдельные вклады неясны: авторы убирали три компонента, но не показали, что даёт каждый шаг критика (например, заморозка прошедших сцен или лимит кругов) по отдельности.
Как исследовали
Авторы собрали бенчмарк из 100 тем (40 простых, 40 средних, 20 сложных, от «Жизненный цикл бабочки-монарха» до «Взлёт и падение Римской империи»). Для каждой профессиональные сценаристы написали эталонный сценарий, а видеоматериалов дали примерно на 58% нужных кадров, чтобы системе пришлось искать недостающее. Auto-Director сравнили с четырьмя генераторами видео, двумя крупными мультимодальными моделями, тремя агентными конвейерами и десятью живыми монтажёрами. Оценивали по пяти критериям: логика повествования, фактическая точность, смысловое соответствие, качество кадра, единство стиля.
Генераторы видео оказались хуже всех по фактам и логике: каждая сцена выглядит правдоподобно, но связи между ними нет, а факты берутся «из головы». Крупные модели, получив весь материал целиком, хуже находили нужные моменты. Авторы предполагают, что длинное видео «размывает внимание». Поэтому текстовый индекс из коротких карточек сработал лучше. Больше всего удивило, как сильно падает точность без поиска фактов: с 4,34 до 3,21. Без текстовых тегов на кадрах просело смысловое соответствие (4,23 → 3,54), без критика просели все критерии. Вывод для практики: заземление в фактах, перевод в структурированный текст и поштучная проверка — три отдельных источника качества.
Адаптации и экстраполяции
🔧 Техника: критик в отдельном чате → меньше самоодобрения
Если Критик оценивает собственный результат в том же чате, он склонен завышать оценки. Вынесите шаг в новый чат или другую модель.
Ты независимый Критик. Тебе дали таблицу фактов K и сценарий S.
Ты не писал этот сценарий. Оцени каждую сцену по шкале 1–5, ищи ошибки.
Если сомневаешься между 3 и 4 — ставь 3.
🔧 Техника: свои типы сигналов → правки под текстовую задачу
Для статьи или письма клиенту замените видео-сигналы на свои:
F_fact — факт не подтверждён → Планировщик ищет источник или убирает утверждение
F_tone — тон не подходит аудитории → переписать в нужном стиле
F_length — абзац длиннее лимита → сократить
Экстраполяция для агента в Claude Code или Cursor: в файл инструкций (CLAUDE.md) можно добавить правило «Перед задачей собери проверенные факты по коду, зафиксируй план в виде структуры, после выполнения проверь каждый изменённый файл отдельно, перепиши только непрошедшие, лимит — 3 круга». Это перенос логики, а не результат статьи.
Ресурсы
- Auto-Director: Leveraging Multi-Agent Collaboration for Autonomous Video Editing — Yuxia Chen (UESTC), Wenbo Zhu (UC Berkeley), Yangguang Ji (NTU), Zhenxiang Jiang (NUS), Teng Zhong (Nanjing Normal University), Yu Zhang (Beijing Freedo Technology).
- Бенчмарк VEdit-Bench (100 тем, эталонные сценарии, пять критериев).
- Упомянутые системы для сравнения: VideoAgent (HKUDS), MoneyPrinterTurbo, AutoClip, EditDuet, LAVE.