Исследователи проанализировали процесс обучения бесконечно широких двухслойных нейронных сетей при аппроксимации моделей с единственным индексом в условиях высокой размерности данных. Работа фокусируется на градиентном потоке и влиянии различных скоростей обучения слоев на итоговую сходимость модели, подтверждая теоретические гипотезы о иерархическом характере формирования представлений в нейросетях при наличии сингулярных возмущений.
В работе рассматривается случай, когда параметры первого и второго слоев оптимизируются совместно, но с разной динамикой, задаваемой пертурбационным параметром. Такой подход позволяет лучше понять, как именно нейронные сети «улавливают» структуру данных на разных этапах тренировки. Авторы доказывают, что при определенных условиях сеть способна эффективно выделять значимые признаки, даже если исходная модель задана неверно.
Результаты исследования проливают свет на механизмы иерархического обучения, которые лежат в основе современных глубоких архитектур. Понимание того, как именно веса слоев взаимодействуют в процессе градиентного спуска, критически важно для разработки более эффективных методов инициализации и оптимизации моделей, работающих с высокоразмерными наборами данных.
Ключевые факты
- Исследование посвящено анализу градиентного потока в двухслойных сетях бесконечной ширины.
- Рассматривается обучение в условиях высокой размерности при использовании misspecified single-index моделей.
- Введен пертурбационный параметр, регулирующий относительную скорость обучения между первым и вторым слоями.
- Работа подтверждает гипотезы о динамике иерархического обучения, ранее предложенные Бертье, Монтанари и Чжоу.