Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Визуальные маркеры на изображениях: чувствительность VLM к стилю разметки
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Загружаешь в мультимодальную модель (VLM) фото с красными точками 'А' и 'Б' — она отвечает правильно. Меняешь красный на синий или уменьшаешь размер маркера — точность падает на 10-21%. То же изображение, тот же вопрос. Метод позволяет повысить точность VLM на пространственных задачах (что ближе, какой объект соответствует метке), подобрав 'диалект' визуальной разметки под конкретную модель. Фишка: размер маркера и позиция подписи влияют сильнее цвета или формы — крупный контрастный кружок 20px с подписью 'A' прямо над точкой даёт +10-13% точности против мелкого маркера 5px с текстом сбоку. Каждая модель обучалась на своём стиле: GPT видел красные круги, Claude — другие маркеры.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку