Исследователи проанализировали, действительно ли гиперболические модели Vision-Language используют преимущества своей неевклидовой геометрии для обработки данных. Авторы установили, что одного параметра кривизны недостаточно для оценки эффективности архитектуры. Вместо этого они предложили диагностический метод, основанный на безразмерной рабочей точке, и протестировали его на моделях MERU, HyCoCLIP и PHyCLIP, выявив реальный вклад геометрических механизмов в обучение.
Традиционно гиперболические пространства выбираются для представления иерархических данных, однако на практике модели часто «вырождаются» в евклидовы представления. Исследование показывает, что для понимания того, задействованы ли радиальные и конические механизмы модели, необходимо анализировать динамику рабочей точки $\sqrt{c}ρ$. Это позволяет отделить реальное использование геометрических свойств от случаев, когда модель фактически игнорирует кривизну пространства.
Аудит трех известных семейств моделей продемонстрировал, что многие архитектуры, заявленные как гиперболические, не используют заложенный в них геометрический потенциал в полной мере. Предложенный инструментарий диагностики дает возможность разработчикам точнее оценивать, насколько эффективно модель использует гиперболическое пространство для задач сопоставления изображений и текста, и избегать избыточной сложности при проектировании нейронных сетей.
Ключевые факты
- Разработан метод диагностики «рабочей точки» (operating-point audit) для проверки активности гиперболических механизмов.
- Исследованы три архитектуры: MERU, HyCoCLIP и PHyCLIP.
- Установлено, что параметр кривизны не является достаточным индикатором использования геометрических преимуществ модели.
- Ключевым показателем эффективности признана безразмерная величина $\sqrt{c}ρ$, определяющая активность радиальных и конических компонентов.
- Исследование подчеркивает проблему «геометрического вырождения» в современных Vision-Language моделях.