Исследователи представили математическое обоснование того, почему современные нейронные сети значительно превосходят предел нейронного касательного ядра (NTK) при решении задач с композиционной структурой. Авторы работы ввели дихотомию между двумя мерами сложности целевой функции, доказав, что NTK демонстрирует экспоненциальную субоптимальность в случаях, когда данные обладают иерархической или композиционной природой, что ранее наблюдалось лишь эмпирически.
Теория NTK долгое время служила основным инструментом для анализа обучения нейронных сетей в режиме бесконечной ширины. Однако на практике такие модели часто уступают сетям, обученным методом градиентного спуска, особенно в задачах, требующих выявления сложных зависимостей. Новое исследование формализует этот разрыв, используя анализ на единичной окружности для сравнения сложности функций через преобразование Фурье и их представление в виде композиций.
Результаты работы показывают, что способность нейронных сетей эффективно обучаться на композиционных данных напрямую связана с их архитектурными особенностями, которые позволяют преодолевать ограничения, накладываемые линейной аппроксимацией NTK. Это исследование проливает свет на фундаментальные механизмы глубокого обучения и объясняет, почему стандартные теоретические модели часто не способны предсказать реальную производительность глубоких архитектур.
Ключевые факты
- Исследование выявило экспоненциальную субоптимальность NTK при работе с функциями, имеющими композиционную структуру.
- Авторы предложили количественную метрику для оценки того, когда и насколько сильно нейронные сети превосходят предел NTK.
- Анализ базируется на дихотомии между сложностью целевой функции в пространстве Фурье и её композиционной сложностью.
- Работа предоставляет теоретический фундамент для понимания преимуществ глубокого обучения перед методами, основанными на ядерных методах (kernel methods).