Исследователи представили математическое решение для оптимизатора Muon, позволяющее выполнять точное обновление матриц с ортонормированными столбцами на многообразии Штифеля. В отличие от существующих эвристических или итерационных подходов, новый метод использует аналитическую формулу в замкнутом виде. Это значительно повышает вычислительную эффективность при обучении нейронных сетей, где подобные структуры матриц встречаются повсеместно.

Многообразие Штифеля играет ключевую роль в глубоком обучении, особенно при работе с весовыми матрицами, требующими сохранения ортогональности. Ранее адаптация алгоритма Muon к таким ограничениям требовала приближенных вычислений, которые могли приводить к накоплению ошибок или требовать значительных затрат ресурсов на каждой итерации. Предложенный подход исключает необходимость в итерационных процедурах, обеспечивая математическую точность и стабильность процесса оптимизации.

Применение этого метода позволяет ускорить сходимость моделей, сохраняя при этом геометрические свойства весов. Это особенно актуально для архитектур, где критически важна стабильность градиентов и сохранение структуры матриц на протяжении всего цикла обучения. Работа открывает путь к более эффективному использованию оптимизаторов второго порядка в крупномасштабных задачах машинного обучения.

Ключевые факты

  • Разработан метод точного обновления (closed-form update) для оптимизатора Muon на многообразии Штифеля.
  • Новый подход заменяет эвристические и итерационные методы, снижая вычислительную сложность.
  • Метод применим к матрицам с ортонормированными столбцами, которые широко используются в архитектурах нейронных сетей.
  • Аналитическое решение обеспечивает высокую точность и стабильность при обучении моделей с жесткими геометрическими ограничениями.