arXiv · 18.06.2026 ·Машинное обучение

Оптимизация гиперпараметров в физически информированных нейросетях

Исследователи представили новый подход к обучению физически информированных нейронных сетей (PINNs), предназначенных для решения дифференциальных уравнений в частных производных. Основная сложность таких моделей заключается в нестабильной сходимости и высокой чувствительности к выбору гиперпараметров, что вызвано невыпуклой структурой функции потерь, включающей множество физических ограничений.

Предложенная стратегия использует двухэтапный эволюционный алгоритм для автоматического подбора архитектурных параметров и настроек оптимизации. На первом этапе система проводит глобальный поиск в пространстве гиперпараметров, чтобы определить наиболее перспективные конфигурации. Второй этап фокусируется на локальной донастройке, что позволяет избежать «плато» при обучении и значительно повысить точность аппроксимации физических процессов.

Метод демонстрирует более высокую устойчивость по сравнению с традиционными подходами к настройке PINNs. Авторы отмечают, что автоматизация процесса выбора параметров позволяет эффективнее интегрировать фундаментальные законы физики в архитектуры нейросетей, сокращая время на ручной подбор конфигураций при моделировании сложных динамических систем.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод решения нелинейных уравнений с нейросетями Исследователи предложили новый численный метод для решения нелинейных дифференциальных уравнений с использованием физически информированных нейронных сетей (PINNs). Метод основан на подходе Беллмана-Калабы, который сводит нелинейную задачу к последовательности линейных подзадач. Каждая из них решается методом наименьших квадратов с помощью QR-разложения. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Машинное обучение Физический подход к пониманию обучения и обобщения нейросетей Исследователи представили работу, анализирующую принципы работы глубокого обучения через призму статистической физики. Авторы отмечают, что современные нейронные сети часто демонстрируют поведение, противоречащее классическим статистическим моделям, что требует пересмотра фундаментальных представлений о процессе обучения и способности моделей к обобщению на новых данных. arXiv · Машинное обучение Ускорение численного моделирования потоков с помощью графовых нейросетей Исследователи представили новый метод ускорения алгебраических многосеточных решателей (AMG), используемых для решения уравнения Пуассона при моделировании несжимаемых потоков. Традиционные линейные методы часто сталкиваются с вычислительными сложностями из-за неоднородности расчетных сеток, что делает их узким местом в инженерных расчетах. arXiv · Машинное обучение Новый взгляд на теорию плоских минимумов в глубоком обучении Исследователи поставили под сомнение устоявшееся в глубоком обучении представление о том, что стохастический градиентный спуск (SGD) естественным образом стремится к «плоским» минимумам функции потерь, которые обеспечивают лучшую обобщающую способность нейросетей. Основная проблема заключается в том, что традиционные метрики оценки плоскости, такие как след или максимальное собственное значение гессиана, зависят от конкретной параметризации модели. Это означает, что при изменении представления весов, не влияющем на итоговую функцию сети, показатели «плоскости» могут меняться, что делает их ненадежными инструментами для анализа. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Машинное обучение Новый метод оптимизируемых линейных релаксаций для функций активации Исследователи представили новый подход к формальной верификации нейронных сетей, основанный на использовании оптимизируемых линейных релаксаций для функций активации. Традиционные методы верификации, критически важные для обеспечения безопасности моделей в ответственных областях, часто требуют создания специализированных релаксаций вручную для каждой функции активации. Это ограничивает масштабируемость и затрудняет адаптацию к современным архитектурам. arXiv · Машинное обучение OrthoReg: новый метод обучения гибридных нейросимвольных моделей Исследователи представили метод OrthoReg, направленный на улучшение обучения гибридных динамических систем. Такие системы объединяют классические механистические модели, основанные на физических законах, с гибкими нейронными сетями. Традиционный подход к их созданию сталкивается с противоречием: символьные модели обладают высокой интерпретируемостью, но часто слишком упрощают реальные процессы, тогда как нейросетевые методы обеспечивают точность, но остаются «черными ящиками» без физического обоснования. arXiv · Машинное обучение Эквивариантные графовые нейросети ускоряют поиск новых материалов Исследователи представили новый подход к прогнозированию оптических спектров материалов с использованием эквивариантных графовых нейронных сетей. Традиционные суррогатные модели часто ограничены использованием скалярных признаков, инвариантных к поворотам, что снижает точность описания геометрических свойств молекулярных структур. Применение эквивариантных архитектур позволяет нейросети учитывать пространственную ориентацию атомов и связей, значительно повышая выразительность модели при анализе сложных физических систем. arXiv · Исследования и наука Новый подход к созданию синтетических данных для интерпретируемости нейросетей Исследователи представили новый метод генерации синтетических наборов данных, предназначенных для тестирования методов интерпретируемости нейронных сетей. Существующие синтетические датасеты часто не отражают сложную иерархическую структуру реальных данных, что ограничивает их применимость при оценке того, как именно модели обучаются распознавать признаки.

← Все материалы