Исследователи представили метод Mixed-Sign Spectral Regularization, решающий проблему ограничений классической отрицательной гребневой регуляризации (negative-ridge) в линейной регрессии. Новый подход, основанный на градиентном спуске с отрицательным сдвигом, позволяет эффективнее корректировать спектральные направления модели, улучшая обучение в условиях перепараметризации, где стандартные методы часто сталкиваются с нестабильностью при обработке малых собственных значений.
В задачах с избыточным количеством параметров многие спектральные компоненты действуют как нежелательный гребневой штраф, подавляя полезные сигналы. Традиционный метод отрицательного гребня пытается компенсировать это, однако его применение ограничено порогом минимального ненулевого собственного значения эмпирической матрицы. Это приводит к неравномерному «анти-сжатию», где малые значения подвергаются чрезмерной коррекции, нарушая стабильность итоговой модели.
Предложенный алгоритм Negative-Shifted Gradient Descent (NSGD) преодолевает эти структурные барьеры. Он позволяет гибко настраивать фильтрацию спектра, обеспечивая более точное восстановление сигнала без риска расходимости, характерного для классических подходов. Метод демонстрирует теоретическую устойчивость и эффективность в сценариях, где классические регуляризаторы не справляются с балансировкой весов в высокоразмерных пространствах признаков.
Ключевые факты
- Разработан метод Mixed-Sign Spectral Regularization для оптимизации перепараметризованных линейных моделей.
- Алгоритм Negative-Shifted Gradient Descent устраняет ограничения, связанные с полюсами в классической отрицательной гребневой регуляризации.
- Метод обеспечивает более равномерное и контролируемое «анти-сжатие» спектральных направлений по сравнению с традиционными подходами.
- Решение направлено на повышение точности обучения в задачах, где количество параметров значительно превышает объем обучающей выборки.