arXiv · 26.06.2026 ·Исследования и наука

Higher-Order Fourier Neural Operator: новый подход к решению нелинейных дифференциальных уравнений

Исследователи представили Higher-Order Fourier Neural Operator (HO-FNO) — архитектуру для аппроксимации операторов в функциональных пространствах. Метод расширяет классический FNO, внедряя механизм явного смешивания мод (mode mixer) для более точного моделирования нелинейных дифференциальных уравнений в частных производных (PDE). Решение позволяет эффективнее улавливать сложные динамические взаимодействия, сохраняя при этом инвариантность к разрешению входных данных.

Традиционные нейронные операторы, такие как FNO, опираются на спектральную свертку в преобразовании Фурье, что эффективно для линейных задач, но часто сталкивается с ограничениями при работе с сильно нелинейными системами. Новый подход вводит высшие порядки взаимодействия между спектральными компонентами, что позволяет модели лучше аппроксимировать сложные физические процессы, где низкочастотные и высокочастотные моды тесно связаны между собой.

Архитектура HO-FNO демонстрирует улучшенную сходимость и точность на стандартных бенчмарках, связанных с гидродинамикой и задачами переноса тепла. Использование явного смешивания мод позволяет снизить вычислительную сложность при сохранении высокой детализации предсказаний, что критически важно для задач научного моделирования, где требуется высокая точность при работе с сетками различной плотности.

Ключевые факты

Метод HO-FNO расширяет возможности классического Fourier Neural Operator за счет интеграции механизмов смешивания мод высших порядков.
Архитектура предназначена для решения нелинейных дифференциальных уравнений в частных производных (PDE) в различных физических доменах.
Модель сохраняет свойство инвариантности к разрешению (resolution-invariance), позволяя обучать нейросеть на данных с одним разрешением и применять её к другим.
Внедрение явного смешивания мод повышает точность аппроксимации операторов в задачах с выраженной нелинейной динамикой по сравнению с базовыми спектральными методами.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Hartley Neural Operator: новый подход к решению дифференциальных уравнений Исследователи представили Hartley Neural Operator (HNO) — архитектуру, которая заменяет комплексное преобразование Фурье в Fourier Neural Operators (FNO) на вещественное преобразование Хартли. Это решение устраняет избыточность данных, возникающую из-за сопряженной симметрии в комплексных числах, и позволяет более эффективно моделировать операторы решений для дифференциальных уравнений в частных производных. Hacker News · Машинное обучение Новый подход к решению нейронных ОДУ Исследователи предложили метод решения нейронных обыкновенных дифференциальных уравнений (ОДУ) с нуля. В статье на Tinyvolt подробно описаны принципы и алгоритмы, которые позволяют более точно моделировать динамические системы. arXiv · Исследования и наука fTNN: новый метод тензорных нейронных сетей для дробных дифференциальных уравнений Исследователи представили fTNN — детерминированный метод тензорных нейронных сетей, предназначенный для решения задач с дробным лапласианом на ограниченных доменах. Подход эффективно справляется с дробным уравнением Пуассона и нестационарными уравнениями адвекции-диффузии, используя адаптивное разбиение интеграции с пространственно-зависимым радиусом ближнего поля для повышения точности вычислений в сложных физических моделях. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. arXiv · Машинное обучение Новый метод стабилизации динамики обучения нейросетей через инерцию Исследователи предложили модификацию динамики Дирака-Френкеля, добавляющую инерцию для решения проблем неустойчивости при обучении нелинейно параметризованных моделей, таких как нейронные сети. Введение инерционного члена позволяет сохранять информацию о скорости изменения параметров из прошлых состояний, что делает процесс оптимизации более стабильным и предсказуемым даже при использовании избыточных архитектур. Hugging Face - Blog · Обучение и дообучение Ускорение дообучения трансформеров с NVIDIA NeMo AutoModel NVIDIA представила интеграцию NeMo AutoModel с библиотекой Hugging Face, позволяющую значительно ускорить процесс дообучения больших языковых моделей. Решение автоматизирует настройку конфигураций и оптимизацию вычислений, позволяя разработчикам эффективнее использовать аппаратные ресурсы при работе с архитектурами трансформеров. Инструментарий упрощает переход от прототипирования к масштабируемому обучению на GPU, минимизируя ручную настройку параметров. arXiv · Исследования и наука Error-Conditioned Neural Solvers: новый подход к решению дифференциальных уравнений Исследователи представили метод Error-Conditioned Neural Solvers, который повышает точность нейросетевых суррогатных моделей при решении дифференциальных уравнений в частных производных (PDE). В отличие от стандартных подходов, рассматривающих задачу как чисто статистическую, новый метод динамически корректирует нарушения физических ограничений, что позволяет моделям эффективнее работать за пределами обучающей выборки и минимизировать остаточные ошибки. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Исследования и наука Physics-Informed Fourier-Wavelet Transformer для моделирования гидродинамики Исследователи представили архитектуру Physics-Informed Fourier-Wavelet Transformer (PFWT), предназначенную для ускорения численного моделирования гидродинамики. Модель эффективно реконструирует поля скоростей, объединяя методы Фурье-преобразований и вейвлет-анализа. Новый подход позволяет точнее воспроизводить как глобальные потоки, так и локальные мелкомасштабные структуры, которые часто упускаются традиционными суррогатными моделями в сложных физических системах. arXiv · Машинное обучение OrthoReg: новый метод обучения гибридных нейросимвольных моделей Исследователи представили метод OrthoReg, направленный на улучшение обучения гибридных динамических систем. Такие системы объединяют классические механистические модели, основанные на физических законах, с гибкими нейронными сетями. Традиционный подход к их созданию сталкивается с противоречием: символьные модели обладают высокой интерпретируемостью, но часто слишком упрощают реальные процессы, тогда как нейросетевые методы обеспечивают точность, но остаются «черными ящиками» без физического обоснования.

← Все материалы