Исследователи представили усовершенствованный метод Левенберга-Марквардта, использующий геометрические обновления высшего порядка через нормальные координаты Римана. Новый подход позволяет эффективнее справляться с кривизной параметров в нелинейных задачах наименьших квадратов, что критически важно для обучения физико-информированных нейронных сетей (PINN) и задач регрессии, где стандартные методы часто сталкиваются с ограничениями из-за высокой нелинейности.
Традиционные алгоритмы оптимизации часто игнорируют геометрическую структуру пространства данных, рассматривая параметры как плоское евклидово пространство. Однако в сложных моделях предсказания формируют многообразие, где кривизна становится основным источником вычислительных ошибок. Применение римановой геометрии позволяет точнее аппроксимировать поверхность функции потерь, минимизируя влияние нежелательных эффектов параметризации на процесс сходимости.
Разработка направлена на повышение стабильности обучения моделей, работающих с физическими законами и сложными нелинейными зависимостями. Использование нормальных координат Римана дает возможность проводить более точные обновления весов, что сокращает количество итераций, необходимых для достижения глобального минимума, и повышает общую точность аппроксимации в задачах, где важна высокая математическая строгость.
Ключевые факты
- Метод основан на использовании нормальных координат Римана для коррекции обновлений в алгоритме Левенберга-Марквардта.
- Решение направлено на устранение проблем, вызванных кривизной параметров в нелинейных задачах наименьших квадратов.
- Подход применим для оптимизации физико-информированных нейронных сетей (PINN) и задач регрессии.
- Математический аппарат позволяет учитывать геометрическую структуру многообразия предсказаний в пространстве данных.