LLM не видят геометрию интуитивно: почему модели рассуждают там, где человек просто смотрит

Парадокс: Визуальные энкодеры мультимодальных моделей УЖЕ содержат геометрическую информацию (простой линейный классификатор на их эмбеддингах даёт 95-100% точности), но LLM не умеет к ней обращаться. Модель вынуждена рассуждать там, где человек видит мгновенно – три точки на прямой, перпендикулярные отрезки, площадь фигуры. Исследование NoReGeo показало: даже GPT-4 достигает максимум 65% на элементарных геометрических задачах, где школьник даёт 74.5% просто взглядом. Но есть обходной путь: если дать мультимодальной модели полное изображение с нарисованными линиями (а не просто координаты точек), точность подскакивает на 20-40%. Работает не для всех моделей – некоторые визуально-языковые модели (VLM) игнорируют картинку и путаются сильнее чем с текстом.