arXiv · 06.08.2026 ·Исследования и наука

Новый алгоритм SG-TULA для эффективной выборки из сложных распределений

Исследователи представили алгоритм SG-TULA (Subgradient Tamed Unadjusted Langevin Algorithm), предназначенный для генерации выборок из распределений с негладкими, невыпуклыми потенциалами и суперлинейным ростом градиента. Метод позволяет работать напрямую с субградиентами, исключая необходимость в ресурсоемких процедурах сглаживания, что значительно упрощает процесс дискретизации диффузии Ланжевена в сложных вычислительных задачах машинного обучения.

Традиционные методы часто сталкиваются с трудностями при работе с негладкими функциями, требуя предварительного сглаживания, которое увеличивает вычислительную нагрузку и может искажать целевое распределение. Новый подход использует технику «укрощения» (taming) для стабилизации численной схемы, что обеспечивает сходимость алгоритма даже в условиях, когда градиенты функции потенциала не ограничены и быстро растут.

Разработка ориентирована на задачи байесовского вывода и оптимизации, где целевые функции обладают сложной геометрией. Использование субградиентов позволяет алгоритму эффективно обрабатывать точки излома функции, сохраняя при этом теоретические гарантии точности выборки. Это делает SG-TULA перспективным инструментом для обучения моделей в условиях, когда классические градиентные методы оказываются нестабильными или невыполнимыми.

Ключевые факты

Алгоритм SG-TULA работает напрямую с субградиентами, избегая затратных процедур сглаживания.
Метод адаптирован для работы с невыпуклыми потенциалами, имеющими суперлинейный рост градиента.
Техника «укрощения» (taming) обеспечивает численную устойчивость алгоритма при дискретизации диффузии Ланжевена.
Подход расширяет возможности байесовского вывода для моделей с негладкими функциями потерь.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод оптимизации градиента для ускорения обучения нейросетей Исследователи представили метод Stochastic Gradient Optimization with Model-Assisted Sampling, направленный на снижение дисперсии при оценке стохастического градиента. Новый подход позволяет эффективнее балансировать между скоростью сходимости и качеством обобщения моделей, минимизируя шум, неизбежно возникающий при использовании стандартных мини-пакетных методов обучения в глубоком обучении. arXiv · Машинное обучение Новые теоретические гарантии для алгоритма Bregman ADMM в невыпуклой оптимизации Исследователи представили анализ алгоритма Bregman ADMM для решения задач невыпуклой оптимизации с линейными ограничениями. Авторы заменили стандартное предположение о липшицевости градиента на условие относительной гладкости, основанное на сравнении гессианов относительно ядра Брегмана. Это позволяет эффективно оптимизировать сложные полиномиальные целевые функции в матричных и тензорных моделях, где глобальная константа Липшица зачастую отсутствует. arXiv · Машинное обучение Градиентный бустинг с векторными листьями: новый подход к многомерным задачам Исследователи представили метод градиентного бустинга, использующий векторные значения в листьях деревьев решений вместо традиционных скалярных предсказаний. Этот подход позволяет более эффективно оптимизировать сложные целевые функции, работающие с векторами, что значительно расширяет возможности классических ансамблевых моделей в задачах многоклассовой классификации и других многомерных сценариях, требующих одновременной обработки нескольких зависимых переменных. arXiv · Машинное обучение Новые теоретические границы для стохастического субградиентного метода Исследователи представили уточненные теоретические оценки для последнего итерата стохастического субградиентного метода применительно к одномерным выпуклым липшицевым функциям. Авторы доказали, что при фиксированном горизонте итераций $n$ и стандартном шаге $\eta = \Theta(1/\sqrt{n})$ ошибка оптимизации достигает порядка $1/\sqrt{n}$. Это фундаментальное уточнение устраняет необходимость в усреднении итераций для достижения оптимальной сходимости в заданных условиях. arXiv · Машинное обучение Метод k-neighborhood для ускорения обучения генеративных моделей в оптимизации Исследователи представили новый подход к обучению генеративных моделей для решения параметрических задач оптимизации. Метод k-neighborhood позволяет кратно увеличить объем обучающих данных за счет использования промежуточных итераций градиентного спуска, а не только финальных решений. Это решает проблему дефицита данных, снижая вычислительные затраты на генерацию качественных начальных приближений для сложных численных алгоритмов. arXiv · Машинное обучение Новый алгоритм обучения гауссовских распределений при усечении полупространством Исследователи представили алгоритм для восстановления параметров многомерного гауссовского распределения, подвергшегося усечению неизвестным полупространством. Работа решает проблему оптимизации сложности выборки и времени вычислений, достигая теоретически оптимальных границ. Предложенный метод значительно превосходит предыдущие полиномиальные решения, обеспечивая высокую точность аппроксимации при заданном уровне погрешности в условиях высокой размерности данных. arXiv · Машинное обучение Представлен метод градиентного сэмплирования GRiLS для сложных распределений Исследователи представили Gradient-free Riemannian Langevin Sampler (GRiLS) — новый метод сэмплирования для работы с мультимодальными вероятностными распределениями. Алгоритм решает проблему «застревания» в локальных модах, характерную для классических методов Монте-Карло, и при этом не требует вычисления градиентов целевой плотности, что значительно упрощает применение метода в задачах с недифференцируемыми функциями или сложными ландшафтами данных. arXiv · Машинное обучение Новый метод оптимизации на симплициальных пространствах для тензорного разложения Исследователи представили новый метод гладкой репараметризации функций на симплициальных пространствах, который упрощает решение сложных задач оптимизации. Подход позволяет эффективно работать с ограничениями на симплексах, что критически важно для вероятностного тензорного разложения и регистрации функциональных данных. Метод значительно повышает вычислительную устойчивость при обучении многомерных распределений вероятностей и анализе сложных временных рядов. arXiv · Машинное обучение Новый метод снижения дисперсии в задачах адаптации доменов Исследователи представили новый подход к обучению моделей в условиях неразмеченных данных, направленный на повышение стабильности адаптации доменов (UDA). Метод использует парную выборку для борьбы с высокой дисперсией функций потерь, что позволяет применять классические алгоритмы стохастической оптимизации. Это решение устраняет ограничения существующих подходов, таких как выравнивание корреляций и максимальное среднее расхождение, обеспечивая более точную настройку моделей при смене домена. arXiv · Машинное обучение Новый метод обучения байесовских моделей PYPM-GGD для неконъюгированных распределений Исследователи представили метод PYPM-GGD, расширяющий возможности байесовской непараметрики для крупномасштабных данных. Алгоритм использует смесь процессов Питмана-Йора с обобщенной гауссовской плотностью и оптимизацию ADAM. Это позволяет эффективно обучать модели в условиях неконъюгированных апостериорных распределений, где традиционные методы стохастического вариационного вывода (SVI) сталкиваются с серьезными ограничениями и вычислительными трудностями.

← Все материалы