Исследователи представили новый метод децентрализованной онлайн-оптимизации для сильно геодезически выпуклых функций на римановых многообразиях. Работа решает проблему минимизации сожаления в распределенных системах, где данные поступают последовательно. Авторы доказали, что использование свойств кривизны многообразия позволяет достичь логарифмической границы сожаления $O(\log T)$, что значительно эффективнее стандартных методов, ограниченных $O(\sqrt{T})$.
Традиционные подходы к оптимизации часто опираются на евклидово пространство, однако многие современные задачи машинного обучения, такие как работа с эмбеддингами в гиперболических пространствах или анализ данных на сферических поверхностях, требуют учета неевклидовой геометрии. В данной работе рассматриваются многообразия с ограниченной секционной кривизной, включая положительно искривленные пространства, что делает алгоритм применимым для широкого спектра сложных геометрических структур.
Предложенный алгоритм обеспечивает сходимость в децентрализованной среде, где агенты обмениваются информацией только с соседями по графу сети. Это исключает необходимость в центральном сервере, что критически важно для масштабируемых систем обучения на графах или при работе с распределенными наборами данных, где передача всех параметров в единый узел невозможна из-за ограничений пропускной способности или требований приватности.
Ключевые факты
- Достигнута логарифмическая граница сожаления $O(\log T)$ для сильно геодезически выпуклых функций.
- Метод адаптирован для римановых многообразий с ограниченной секционной кривизной, включая положительно искривленные пространства.
- Алгоритм поддерживает децентрализованную архитектуру, позволяя агентам оптимизировать общую целевую функцию через локальное взаимодействие.
- Работа расширяет теоретическую базу для обучения моделей на неевклидовых структурах, таких как графы и сложные геометрические пространства.