Исследователи представили ITSPACE — алгоритм для обновления ковариационных матриц на основе монотонного гауссовского оптимального транспорта. Метод решает задачу минимизации расстояния Вассерштейна-2 в пространстве симметричных положительно определенных матриц. Решение позволяет эффективно вычислять обновления в задачах доменной адаптации и обучения гауссовских эмбеддингов, обеспечивая более высокую вычислительную стабильность по сравнению с классическими подходами.
Ковариационные матрицы часто используются в ML как компактные дескрипторы распределения признаков. Однако работа с ними на конусе симметричных положительно определенных матриц (SPD) сопряжена с вычислительными сложностями, особенно при необходимости соблюдения ограничений оптимального транспорта. Новый метод ITSPACE предлагает итеративную схему, которая сохраняет структуру данных и гарантирует сходимость к оптимальному решению в рамках гауссовского приближения.
Разработка опирается на метрику Бюреса-Вассерштейна, которая обеспечивает аналитическое решение для сравнения распределений. Авторы показывают, что предложенный алгоритм позволяет избежать типичных проблем с потерей положительной определенности матриц в процессе градиентного спуска или других методов оптимизации, что критически важно для глубокого обучения и задач переноса знаний между доменами.
Ключевые факты
- ITSPACE использует монотонные обновления для минимизации расстояния Вассерштейна-2.
- Метод оптимизирован для работы на конусе симметричных положительно определенных (SPD) матриц.
- Алгоритм применим в задачах доменной адаптации и построении гауссовских эмбеддингов.
- Предложенный подход обеспечивает аналитическую точность, недоступную для стандартных методов оптимизации общего назначения.