Исследователи представили количественную теорию сходимости для случайных нейронных сетей бесконечной ширины, используя аппарат тензорных программ. Работа устанавливает явные границы погрешности в метрике Вассерштейна для сетей конечной ширины. Полученные результаты позволяют математически обосновать поведение глубоких архитектур при переходе к пределу, обеспечивая точность аппроксимации порядка обратного квадратного корня от ширины слоев.
Тензорные программы стали стандартным инструментом для анализа нейронных сетей, позволяя описывать их динамику через гауссовские процессы. Однако до сих пор не хватало строгих количественных оценок того, насколько сильно архитектура конечного размера отклоняется от своего теоретического предела. Новое исследование закрывает этот пробел, предлагая универсальный подход, который не зависит от конкретной архитектуры сети.
Авторы доказывают, что разница между поведением сети с конечным числом нейронов и её предельной гауссовской моделью ограничена величиной $O(1/\sqrt{n})$, где $n$ — ширина слоев. Это дает разработчикам и исследователям возможность точнее предсказывать свойства моделей до их обучения, опираясь на математически выверенные оценки стабильности и сходимости весов.
Ключевые факты
- Разработана количественная теория сходимости нейронных сетей к гауссовским процессам в метрике Вассерштейна.
- Установлена верхняя граница ошибки аппроксимации, составляющая $O(1/\sqrt{n})$, где $n$ — ширина слоев сети.
- Предложенный фреймворк является архитектурно-агностическим и применим к широкому классу глубоких нейронных сетей.
- Работа уточняет теоретические основы метода тензорных программ, используемого для анализа инициализации и обучения моделей.