Test-Time Scaling для Vision-Language моделей: когда усилия окупаются, а когда вредят

Исследование сравнило пять подходов. Все работают в обычном чате:

Запрос с инструкцией "рассуждай пошагово" → модель описывает логику → финальный ответ

Один запрос, один ответ — просто структурированный.

Генерируешь N ответов (каждый с CoT) → оцениваешь каждый → выбираешь лучший

Оценка: либо внутренняя уверенность модели (если открытая), либо внешняя модель-верификатор.

Генерируешь N ответов → считаешь какой ответ встречается чаще → выбираешь его

Голосование большинством, без оценки качества.

ШАГ 1: Генерируешь первый ответ
ШАГ 2: Просишь модель покритиковать свой ответ
ШАГ 3: Просишь улучшить на основе критики
Повторяешь шаги 2-3 до улучшения или лимита итераций

Несколько последовательных запросов в одном треде.

На каждом шаге рассуждения генерируешь несколько вариантов → 
оцениваешь каждый → оставляешь топ-K → продолжаешь только их →
в конце выбираешь лучший финальный путь

Дерево решений с отсечением слабых веток.

Задача: Ты запускаешь онлайн-курс по инвестициям и делаешь инфографику про портфели разных стратегий (консервативный, умеренный, агрессивный) — столбчатые диаграммы с процентами. Дизайнер прислал макет, но ты не уверен, что цифры читаются правильно и визуально понятно, какая стратегия для кого. Нужен детальный анализ: совпадают ли проценты на диаграмме с подписями, логичны ли цвета, есть ли визуальные ошибки.

Промпт:

[Прикрепляешь изображение инфографики]

Проанализируй эту инфографику про инвестиционные портфели пошагово:

1. Какие три стратегии показаны и какие активы в каждой
2. Проверь, совпадают ли проценты на столбцах с подписями внизу
3. Оцени, понятно ли визуально, какая стратегия консервативная, а какая агрессивная
4. Найди любые визуальные несоответствия или ошибки

Дай детальный разбор каждого пункта, потом финальный вывод.

Результат: Модель выдаст один ответ с пошаговым разбором: перечислит стратегии, проверит цифры, оценит визуал. Если есть ошибка в расчётах или несоответствие — укажет. Работает быстро, но может пропустить детали или ошибиться в сложных вычислениях.

Промпт: (тот же, но генерируешь 3-5 ответов через регенерацию)

[Тот же промпт про инфографику]

Сгенерируй несколько вариантов анализа.

После генерации смотришь, какие выводы повторяются в большинстве ответов — это надёжнее. Например, если 4 из 5 ответов нашли ошибку в проценте консервативного портфеля — скорее всего, ошибка есть.

Результат: Несколько независимых анализов. Ты вручную смотришь, какие проблемы нашли большинство ответов — это реальные баги. Уникальные находки в одном ответе могут быть галлюцинациями.

Промпт (ШАГ 1 — первый анализ):

[Прикрепляешь инфографику]

Проанализируй эту инфографику про инвестпортфели пошагово: стратегии, проценты, визуал, ошибки.

Модель даёт первый ответ.

ШАГ 2 — критика:

Перечитай свой анализ выше. Что ты мог упустить? Какие детали стоит проверить внимательнее? 
Есть ли противоречия в твоих выводах?

Модель критикует себя, находит пробелы.

ШАГ 3 — улучшение:

На основе своей критики дай улучшенный анализ инфографики. Исправь ошибки, добавь упущенные детали.

Повторяешь шаги 2-3 ещё 1-2 раза, если нужно.

Результат: - На GPT-4o/Gemini: С каждой итерацией анализ становится точнее — модель замечает больше деталей, исправляет логические ошибки, добавляет пропущенные проверки. Финальный ответ после 2-3 раундов заметно лучше первого. - На открытых моделях (Qwen2.5-VL): Может деградировать — модель начинает выдумывать несуществующие ошибки, зацикливается на деталях, теряет фокус. Лучше не использовать.

ШАГ 1: Генерируешь 3-5 разных анализа инфографики (тот же промпт, несколько раз).

ШАГ 2: Берёшь каждый анализ и просишь другую модель (или ту же, но в новом чате) оценить:

Вот анализ инфографики про инвестпортфели:

[вставляешь один из сгенерированных анализов]

Оцени качество этого анализа по шкале от 0 до 10:
- Полнота (проверены ли все элементы)
- Точность (нет ли фактических ошибок)
- Логичность (связаны ли выводы)

Дай числовую оценку и краткое объяснение.

ШАГ 3: Выбираешь анализ с наивысшей оценкой.

Результат: Модель-верификатор даёт оценку каждому варианту (например, 7.5, 6.0, 8.5, 7.0, 6.5). Ты берёшь анализ с оценкой 8.5 — он статистически лучший. Работает надёжнее голосования, потому что оценивается качество, а не просто частота ответа.

Слабость мультимодальных моделей: Когда визуальная и текстовая информация смешиваются, модель может делать ошибки распознавания (неправильно считывает цифры с графика), логические сбои (видит элементы, но неверно их интерпретирует) или пропуски деталей (замечает крупные объекты, не видит мелкие несоответствия). При прямом ответе "в лоб" вероятность таких ошибок выше — модель не проверяет себя.

Сильная сторона моделей: Они умеют структурировать рассуждения (разбивать задачу на шаги), генерировать разные варианты решения (каждая попытка может зацепить другие детали изображения), оценивать чужие тексты (даже если свои генерируют с ошибками). Топовые модели (GPT-4o, Gemini) также умеют критиковать свои выводы и корректировать — видят логические противоречия в собственном тексте.

Как методы используют сильные стороны:

• CoT заставляет модель вербализовать промежуточные шаги — когда она пишет "смотрю на столбец, вижу 40%, подпись говорит 45% — несоответствие", это снижает пропуск ошибок. Модель реже галлюцинирует, если объясняет логику.

• Best-of-N и Self-Consistency используют стохастическую природу генерации — каждый сэмпл может зацепить разные детали изображения или разные логические пути. Правильный ответ встречается чаще (если задача не на грани сложности модели), неправильные распределяются. Агрегация через голосование или оценку фильтрует шум.

• Self-Refinement эксплуатирует асимметрию генерации и критики — модель часто лучше находит ошибки в готовом тексте, чем избегает их при первой генерации. Итерации работают как редактура: черновик → замечания → исправления. НО: это требует сильной способности к метакогниции. Слабые модели вместо улучшения добавляют новые ошибки — "критика" галлюцинативна.

• Beam Search сохраняет несколько гипотез одновременно на каждом шаге рассуждения — если модель в начале сделала неверное предположение, альтернативная ветка может быть правильной. В конце выбирается лучший полный путь. Это дорого (много токенов), но эффективно для многошаговых задач.

Ключевой инсайт исследования: Внутренняя уверенность модели (confidence scores) не коррелирует с правильностью — модель может быть на 95% уверена в галлюцинации. Поэтому Best-of-N с внутренними скорами работает хуже, чем с внешней верификацией или голосованием. Рычаг управления: для открытых моделей (Qwen, InternVL) используй Self-Consistency или Best-of-N с внешним верификатором, не полагайся на confidence. Для топовых закрытых (GPT-4o, Gemini 2.0) — Self-Refinement с 2-3 итерациями даёт максимум.

[Прикрепляешь изображение]

Проанализируй это изображение и ответь на вопрос: {твой_вопрос}

Рассуждай пошагово:
1. Что ты видишь на изображении (ключевые элементы)
2. Какие детали важны для ответа на вопрос
3. Как эти детали связаны между собой
4. Какой вывод следует из анализа

Финальный ответ дай в конце.

Когда использовать: Любая задача, где важен логический разбор изображения — проверка графиков, анализ схем, поиск ошибок в дизайне.

[Прикрепляешь изображение]

{твой_вопрос_про_изображение}

Сгенерируй 5 независимых ответов на этот вопрос, анализируя изображение каждый раз заново. 
Нумеруй ответы (Вариант 1, Вариант 2, ...).

После генерации вручную смотришь, какой ответ повторяется чаще — это финальный.

Альтернатива (автоматическая агрегация): После получения 5 вариантов в новом сообщении пишешь:

Посмотри на 5 вариантов ответов выше. Какой вывод встречается в большинстве из них? 
Дай консенсусный финальный ответ.

Когда использовать: Задачи средней сложности, где модель может ошибиться, но правильный ответ вероятнее неправильного. Не подходит для творческих задач (там не нужно консенсуса).

ШАГ 1 (первый ответ):

[Прикрепляешь изображение]

{задача_по_анализу_изображения}

Дай детальный анализ.

ШАГ 2 (критика):

Перечитай свой анализ выше. Ответь на вопросы:
- Какие детали изображения ты мог пропустить?
- Есть ли логические противоречия в твоих выводах?
- Проверил ли ты все важные элементы?
- Уверен ли ты в точности своих наблюдений?

Дай конструктивную критику своего ответа.

ШАГ 3 (улучшение):

На основе своей критики дай улучшенный анализ изображения. 
Исправь ошибки, добавь пропущенные детали, устрани противоречия.

Повторяешь шаги 2-3 ещё 1-2 раза при необходимости.

⚠️ Только для топовых моделей: GPT-4o, GPT-4, Gemini 2.0, Claude 3.5 Sonnet. На более слабых моделях деградирует качество.

Когда использовать: Сложные аналитические задачи — проверка финансовых графиков, анализ медицинских снимков (с оговоркой), детальный разбор дизайна.

ШАГ 1: Генерируешь N вариантов (3-5) с одним и тем же промптом:

[Прикрепляешь изображение]

{задача_про_изображение}

Рассуждай пошагово и дай финальный ответ.

Сохраняешь каждый ответ отдельно (копируешь в текстовый файл или заметки).

ШАГ 2: В новом чате (или с другой моделью) оцениваешь каждый:

Задача была: {повторяешь задачу}

Вот один из вариантов ответа:
[вставляешь вариант ответа]

Оцени качество этого ответа по 10-балльной шкале:
- Полнота (проверены ли все важные элементы изображения)
- Точность (нет ли фактических ошибок или галлюцинаций)
- Логичность (связаны ли выводы, нет ли противоречий)

Дай итоговую оценку (число от 0 до 10) и краткое объяснение.

Повторяешь для каждого из N вариантов.

ШАГ 3: Выбираешь ответ с наивысшей оценкой.

Когда использовать: Критически важные задачи, где цена ошибки высока — проверка юридических документов на изображениях, финансовая аналитика, технический аудит.

Классический Beam Search требует доступа к внутренним вероятностям модели. Вот адаптация для ручного использования:

ШАГ 1: Попроси модель сгенерировать несколько первых шагов анализа:

[Прикрепляешь изображение]

Задача: {твоя_задача}

Предложи 3 разных способа начать анализ этого изображения. 
Для каждого способа опиши только первый шаг (не решай до конца).

Формат:
Подход 1: [первый шаг]
Подход 2: [первый шаг]
Подход 3: [первый шаг]

ШАГ 2: Выбираешь 1-2 лучших подхода (вручную или просишь модель оценить):

Какой из трёх подходов выше наиболее логичен для решения этой задачи? Объясни почему.

ШАГ 3: Развиваешь выбранный подход до конца:

Продолжи анализ используя Подход {номер}. Дай полное решение задачи.

Когда использовать: Задачи с несколькими возможными путями анализа (например, сложная схема, которую можно анализировать с разных углов). Дорого по токенам и времени — только для критичных кейсов.

🚀 Упрощённое применение Self-Refinement:

Вместо ручного выполнения трёх шагов, используй этот мета-промпт:

Вот техника Self-Refinement для анализа изображений:

1. Сгенерируй первый анализ
2. Покритикуй свой анализ (что пропустил, где ошибки)
3. Дай улучшенный анализ на основе критики
4. Повтори шаги 2-3 ещё один раз

Моя задача: {опиши свою задачу}

[Прикрепляешь изображение]

Выполни все 4 шага последовательно, покажи каждый этап.

Модель сама проведёт итерации, ты просто получишь финальный результат. Работает на GPT-4o, Gemini 2.0, Claude 3.5 Sonnet.

🚀 Упрощённое применение Best-of-N:

Если не хочешь вручную оценивать варианты, используй этот промпт:

Сгенерируй 5 разных вариантов ответа на мой вопрос про изображение.

[Прикрепляешь изображение]

Вопрос: {твой_вопрос}

После генерации 5 вариантов, сам оцени каждый по шкале 0-10 
(полнота, точность, логичность) и выбери лучший. 
Покажи оценки и финальный выбор.

⚠️ Ограничение: Модель будет оценивать свои же ответы — возможна предвзятость. Надёжнее использовать внешнюю верификацию (другую модель или новый чат).

⚠️ Не универсальное решение: На простых перцептивных задачах ("Что на картинке?", "Какого цвета объект?") все техники дают прирост 0-3% — не окупают усилия. Работают только на многошаговых задачах: математика с графиками, анализ диаграмм, поиск ошибок в сложных изображениях, технические чертежи.

⚠️ Self-Refinement ломает слабые модели: На открытых моделях (Qwen2.5-VL, Mulberry, InternVL) итеративное улучшение снижает точность на 2-8%. Модель начинает галлюцинировать несуществующие проблемы, зацикливается на деталях, теряет исходный правильный вывод. Используй только на GPT-4o, Gemini 2.0, Claude 3.5 Sonnet.

⚠️ Внутренняя уверенность обманчива: Если используешь открытую модель с доступом к внутренним confidence scores — не полагайся на них. Модель может быть на 95% уверена в галлюцинации. Best-of-N с внутренними скорами работает хуже голосования или внешней верификации.

⚠️ Стоимость и время: Все техники кроме простого CoT требуют множественных запросов — либо параллельных (Best-of-N, Self-Consistency), либо последовательных (Self-Refinement, Beam Search). На закрытых API это множит стоимость в 3-5 раз. Self-Refinement с 3 раундами = 7 запросов (1 первый + 3×(критика+улучшение)). Используй для критичных задач, не для рутины.

⚠️ Нужна качественная базовая модель: Если модель не справляется с задачей в CoT-режиме (точность <40%), никакие техники не помогут. Self-Consistency и Best-of-N работают, когда правильный ответ вероятнее неправильного — если модель гадает наугад, агрегация бесполезна. Beam Search теоретически может помочь, но на практике слишком дорого.

⚠️ Beam Search неэффективен в чатах: В исследовании Beam Search показал худшие результаты среди всех техник на открытых моделях — часто хуже даже базового CoT. Причина: полагается на внутренние confidence scores, которые ненадёжны. Для ручного применения в чате слишком сложен, требует многократных ветвлений — проще использовать Best-of-N.

Команда из Sharif University of Technology взяла три популярных бенчмарка для мультимодальных моделей — MathVista (математика с визуальными элементами, 6141 задача), MMMU (академические задачи уровня университета из 30 дисциплин, 11500 вопросов), MMBench (общий тест способностей VLM, 3000+ вопросов по 20 навыкам). Протестировали 5 открытых моделей (Qwen2.5-VL-7B, Mulberry-8b, InternVL2.5-8B) и 3 топовые закрытые (GPT-4o mini, Gemini 2.0 Flash, Claude-3-Haiku).

Для каждой модели прогнали baseline (zero-shot) без подсказок, потом применили пять техник: Chain-of-Thought, Best-of-N (с внутренними и внешними оценками где возможно), Self-Consistency, Self-Refinement, Beam Search. Измеряли точность (accuracy) — процент правильных ответов.

Ключевые находки из результатов:

На MathVista топовые модели выиграли сильно: Gemini 2.0 с Self-Refinement поднялся с 80% до 89.6% (+9.6 п.п.), GPT-4o mini с Best-of-N — с 64.4% до 72.5% (+8 п.п.). Открытые модели показали смешанную картину: Qwen2.5-VL с Self-Consistency вырос с 68.2% до 79.6% (+11.4 п.п. — лучший результат среди открытых!), но тот же Qwen с Self-Refinement упал с 68.2% до 67.8%. Mulberry вообще просел с 59.7% до 57.8% на Self-Refinement — минус 2 процентных пункта.

На MMMU паттерн повторился: закрытые модели выиграли от Self-Refinement (Gemini +6.2 п.п., Claude +6.2 п.п.), открытые — от Best-of-N с внешней верификацией (Qwen +9 п.п. по сравнению с CoT). Важный инсайт: Best-of-N с внутренними confidence scores у открытых моделей давал +4-5 п.п., но с внешней верификацией (использовали Gemini 2.0 как судью) — сразу +9 п.п. Это прямо показывает: модель не умеет оценивать качество собственных ответов.

Beam Search провалился почти везде — на MathVista у открытых моделей он дал прирост 0-1 п.п. или даже снижение (Mulberry 59.7% → 59.7%, InternVL 63.0% → 62.1%). У закрытых моделей чуть лучше, но всё равно хуже других техник. Авторы объясняют: метод требует надёжных промежуточных оценок, а confidence scores ненадёжны.

Интересная деталь: На MMBench исследователи сделали категориальный анализ — разбили задачи на 15 типов (OCR, spatial reasoning, object recognition и т.д.). Оказалось, что TTS почти не помогает на простых перцептивных задачах (object localization, coarse perception). Зато на сложных (diagram reasoning, math reasoning) прирост достигал 15-20%. Это объясняет, почему общий прирост на MMBench скромнее, чем на MathVista — там больше простых задач.

Авторы также проверили влияние числа сэмплов N в Best-of-N: при N=1 (baseline CoT) точность ниже, N=3 даёт скачок, N=5 ещё чуть лучше, но N=7-10 почти не добавляют — закон убывающей отдачи. Оптимум — 3-5 сэмплов для баланса качества и стоимости.

Вывод исследования: TTS для мультимодальных моделей работает, но не универсально. Нужно подбирать метод под модель (сильная vs слабая) и задачу (многошаговая vs простая). Открытые модели выигрывают от сэмплинга с агрегацией, закрытые — от рефлексии. Простые задачи не стоят усилий — прирост съедается стоимостью токенов.

Логика: Self-Consistency генерирует несколько ответов и выбирает частый. Но что если частый ответ неточен, а редкий правильный? Или консенсус есть, но формулировка сырая? Добавь финальный раунд улучшения.

Промпт (после получения консенсуса через Self-Consistency):

Ты выбрал ответ "{консенсусный_ответ}" как наиболее частый. 

Теперь улучши его:
1. Проверь, учёл ли этот ответ ВСЕ детали изображения
2. Есть ли логические пробелы или неточности в формулировке
3. Можно ли сделать вывод более чётким и обоснованным

Дай финальную улучшенную версию ответа.

Когда использовать: Критичные задачи, где нужна и статистическая надёжность (консенсус), и высокое качество формулировки. Например, медицинские описания снимков, юридические выводы из документов.

Вместо генерации N одинаковых ответов, задай разные роли для каждого — получишь разнообразие подходов.

Промпт:

[Прикрепляешь изображение графика продаж]

Задача: Проанализируй этот график и дай рекомендации по стратегии.

Дай 3 анализа с разных точек зрения:

Анализ 1 (Оптимист): Найди позитивные тенденции, возможности роста, что работает хорошо.

Анализ 2 (Пессимист): Найди риски, негативные тренды, проблемы, что может пойти не так.

Анализ 3 (Прагматик): Объективный взгляд — что реально, какие данные надёжны, какие выводы обоснованы.

После трёх анализов дай синтез: какая стратегия учитывает все три взгляда.

Эффект: Вместо случайного разнообразия (стохастика модели) получаешь структурное разнообразие (разные фреймы мышления). Синтез мнений часто лучше одного "усреднённого" ответа.

Проблема: В стандартном Self-Refinement модель критикует сама себя — риск предвзятости (она может не видеть свои слепые пятна).

Решение: Используй другую модель для критики, оригинальную — для улучшения.

ШАГ 1 (в чате с Моделью A — например, GPT-4o):

[Прикрепляешь изображение]

{задача_анализа}

Дай детальный анализ.

Получаешь первый ответ, копируешь.

ШАГ 2 (в чате с Моделью B — например, Claude 3.5 Sonnet):

Задача была: {повторяешь задачу}

Вот анализ от другой модели:
[вставляешь ответ из Шага 1]

Твоя роль — конструктивный критик. Найди:
- Что пропущено в анализе
- Где есть логические противоречия
- Какие детали недостаточно обоснованы

Дай детальную критику (не переписывай анализ, только укажи проблемы).

Получаешь критику, копируешь.

ШАГ 3 (возвращаешься в чат с Моделью A):

Вот критика твоего анализа от другой модели:
[вставляешь критику из Шага 2]

Улучши свой анализ с учётом этих замечаний. Исправь ошибки, добавь упущенное.

Эффект: Разные модели имеют разные слепые пятна — GPT-4o может пропустить деталь, которую заметит Claude, и наоборот. Кросс-модельная критика надёжнее самокритики.

Когда использовать: Максимально критичные задачи, где цена ошибки очень высока (технический аудит, финансовый анализ, медицина). Дорого по времени, но качество выше.

Limits and Gains of Test-Time Scaling in Vision-Language Reasoning — Mohammadjavad Ahmadpour, Amirmahdi Meighani, Payam Taebi, Omid Ghahroodi, Amirmohammad Izadi, Mahdieh Soleymani Baghshah (Department of Computer Engineering, Sharif University of Technology, 2025)