Исследователи представили работу, пересматривающую теоретические гарантии сходимости популярного алгоритма оптимизации Adam. Авторы доказали, что при определенных параметрах затухания моментов средний регрет алгоритма может оставаться ограниченным от нуля, что указывает на фундаментальные ограничения в задачах онлайн-оптимизации. Это уточняет понимание поведения градиентных методов, используемых при обучении нейронных сетей.
В работе анализируется проекционный вариант Adam в условиях произвольных параметров $\beta_1$ и $\beta_2$. Ранее считалось, что для обеспечения сходимости достаточно соблюдения условия $\beta_1 < \sqrt{\beta_2}$, однако новое исследование демонстрирует, что даже при выполнении определенных условий алгоритм может не достигать оптимальных результатов. Для доказательства авторы использовали трехпериодическую последовательность линейных функций с заданными коэффициентами наклона.
Результаты подчеркивают важность выбора гиперпараметров при настройке оптимизаторов для глубокого обучения. Хотя Adam остается стандартом де-факто в индустрии благодаря своей эмпирической эффективности, теоретические пробелы в его поведении продолжают оставаться предметом активных дискуссий в академическом сообществе. Данное исследование дополняет классические работы Reddi et al. (2018), предлагая более строгий взгляд на динамику весов в процессе обучения.
Ключевые факты
- Исследование доказывает, что средний регрет алгоритма Adam может быть ограничен от нуля при произвольных параметрах затухания $\beta_1, \beta_2 \in [0, 1)$.
- Авторы использовали контрпример на основе трехпериодической последовательности линейных функций с наклонами $c, -1, -1$, где $c > 2$.
- Работа расширяет теоретическую базу, заложенную в 2018 году, опровергая предположение о достаточности условия $\beta_1 < \sqrt{\beta_2}$ для гарантии сходимости.
- Полученные выводы критически важны для понимания стабильности обучения моделей в задачах онлайн-оптимизации.