TL;DR
VICE — техника, которая не подаёт модели два видео сразу. Сначала модель описывает каждое видео по одному нужному критерию (место, действие, предметы). Потом каждое видео проверяется на соответствие описанию соседа: «видео А против текста о Б» и «видео Б против текста об А». Две оценки усредняются.
Главная находка: если положить в запрос два видео и попросить сравнить, результат зависит от порядка. Поменяли А и Б местами, и в каждом четвёртом-третьем случае модель выдаёт другой вердикт. Модели учили работать с одним видео, а пара выбивает их из привычного режима. Просьба «подумай по шагам» на парном входе тоже не лечит: часто становится только хуже.
Метод разбивает задачу на шаги, которые модель делает уверенно: описать одно видео и сверить одно видео с текстом. Порядок видео перестаёт влиять на ответ (0% расхождений против 25–30%). Сходство с оценками людей растёт, местами очень сильно, особенно у небольших моделей.
Схема метода
ШАГ 1 (на каждое видео отдельно): видео + критерий → описание только по этому критерию
ШАГ 2 (две ветки): видео А + описание Б → рассуждение 1–5
видео Б + описание А → рассуждение 1–5
ШАГ 3: повторить шаг 2 несколько раз (M сэмплов) → усреднить все оценки по обеим веткам
ШАГ 4 (по желанию): свести рассуждения в одно текстовое объяснение (оценку не меняет)
Это отдельные запросы: шаг 1 — два запроса, шаг 2 — минимум два.
Пример применения
Задача: Маркетолог Самоката выбирает, какой из двух рекламных роликов конкурентов копировать по сюжету. Нужно понять, насколько ролики похожи именно по главному действию, а не по общему впечатлению. Если загрузить оба видео в Gemini и спросить «похожи ли они?», ответ будет зависеть от того, какое видео загружено первым.
Промпт (формулировки восстановлены по описанию метода — полные промпты авторов в приложении, в тексте их нет):
Запрос 1 (видео А, потом отдельно видео Б):
Посмотри видео. Опиши его, сосредоточившись ТОЛЬКО на одном критерии: главное действие
(что делают герои, по шагам). Игнорируй место, предметы, людей, стиль съёмки.
Ответ — 2–3 предложения.
Запрос 2 (загрузи видео А и вставь описание видео Б):
Вот видео и текстовое описание ДРУГОГО видео по критерию «главное действие»:
«{описание_Б}»
Оцени, насколько это видео по критерию «главное действие» соответствует описанию:
содержит ли оно всё, что в нём названо.
Сначала рассуждай внутри … : что видишь в видео, что названо в описании,
что совпало и что нет. Затем дай оценку от 1 до 5 внутри … .
Запрос 3 — то же самое, но с видео Б и описанием А. Прогони каждый запрос 2–3 раза и усредни все оценки.
Результат: Модель выдаст два коротких описания по одному критерию. Затем придут рассуждения в тегах
Почему это работает
Слабость. Модели учили на задачах с одним видео: описать, ответить на вопрос. Когда в запросе два видео, модель выходит за привычный режим. Отсюда зависимость от порядка, смещённые оценки (кому-то всё «около 4», кому-то всё «низко») и провал «просто подумай по шагам».
Сильная сторона. Описать одно видео под заданный критерий и сверить одно видео с текстом — это то, чему модель научена. Текст при этом работает как мостик: он переносит содержание второго видео в запрос, где видео только одно.
Как метод это использует. Он сводит парное сравнение к двум одиночным проверкам. Двунаправленность убирает зависимость от порядка. Асимметрия сохраняется намеренно: если видео Б «богаче» А, оценки в двух направлениях разойдутся, и среднее это отразит. Повторные прогоны сглаживают случайные выбросы.
Рычаги управления:
- Критерий — меняй под задачу: «сюжет», «место», «герои», «порядок шагов». Чем уже критерий, тем чище описание.
- Число повторов M — 1 для быстрой прикидки, 3–5 для важного решения. Платишь токенами.
- Теги
Шаблон промпта
Оригинальная структура метода: два запроса описания и две ветки проверки.
### ШАГ 1. Описание по критерию (запускается отдельно для каждого видео)
Посмотри видео. Опиши его, сосредоточившись ТОЛЬКО на критерии «{критерий}».
Игнорируй всё остальное. Ответ — {длина} предложений.
### ШАГ 2. Проверка соответствия (две ветки, каждая — отдельный запрос)
Ветка 1: {видео_А} + описание {описание_Б}
Ветка 2: {видео_Б} + описание {описание_А}
Текст запроса для каждой ветки:
Вот видео и описание ДРУГОГО видео по критерию «{критерий}»:
«{описание_другого}»
Оцени по шкале от 1 до 5, насколько это видео по критерию «{критерий}»
соответствует этому описанию.
Сначала рассуждай внутри … : что видно в видео,
что сказано в описании, что совпало, что нет.
Затем итоговую оценку дай внутри … .
### ШАГ 3. Агрегация
Повтори шаг 2 {число_повторов} раз для каждой ветки.
Итог = среднее всех оценок из обеих веток.
Что подставлять:
- {критерий} — один аспект сходства (действие, место, предметы).
- {длина} — обычно 2–3.
- {число_повторов} — 1–5.
- {видео_А} и {видео_Б} — загружаемые файлы или ссылки.
🚀 Быстрый старт — вставь в чат с моделью, которая принимает видео:
Вот шаблон VICE для сравнения двух видео по одному критерию. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, по какому критерию сравнивать, какая нужна шкала и сколько повторов. Критерий определяет, что именно попадёт в описания. От шкалы зависит, как читать итог. Повторы нужны для устойчивости оценки. Дальше она соберёт готовые тексты запросов под твои видео.
Адаптация (моя экстраполяция, в статье не проверялась): тот же принцип «разложи пару на одиночные входы и проверь в обе стороны» можно попробовать на сравнении двух текстов или картинок. Для этого в статье нет данных.
Ограничения
⚠️ Не везде помогает: у одной из пяти моделей на основном бенчмарке результат стал хуже. На втором наборе у крупных моделей прирост был небольшим. Метод нужно проверять на своей модели.
⚠️ Дороже и дольше: вместо одного запроса — минимум четыре, а с повторами десять и больше. Для массового сравнения без автоматизации это неудобно.
⚠️ Слабые места: хуже всего получается с критериями про порядок и последовательность действий. Метод не заменяет оценку человеком: совпадение с людьми заметно выше, чем у прямого запроса, но далеко от идеала.
⚠️ «Подумай по шагам» не спасает: на парном входе Chain-of-Thought (рассуждение по шагам) часто ухудшал результат. Рассуждение помогает только после разбиения на одиночные входы.
⚠️ Узкая область: проверено только на сравнении видео и только на небольших открытых моделях. Перенос на текст, изображения и фронтирные модели — догадка. Готовых текстов промптов в основной части статьи нет, формулировки выше восстановлены по описанию.
Ресурсы
Работа: Video-Language Entailment for Video Similarity Estimation (VICE). Авторы: Benedetta Liberatori, Lorenzo Vaquero, Elisa Ricci, Paolo Rota. Университет Тренто, Fondazione Bruno Kessler. Сайт проекта: https://benedettaliberatori.github.io/vice Бенчмарки: ConViS-Bench (610 пар видео, пять концептов), StepDiff (кулинарные видео, переразмечено людьми).