arXiv · 14.07.2026 ·Машинное обучение

Ускорение сходимости алгоритма Randomized Hamiltonian Monte Carlo

Исследователи представили математическое доказательство ускоренного времени перемешивания для алгоритма Randomized Hamiltonian Monte Carlo (RHMC) при выборке из лог-вогнутых распределений вероятностей. Метод, основанный на циклической симуляции гамильтоновой динамики со случайными интервалами интеграции и сбросом скоростей, демонстрирует повышенную вычислительную эффективность, что критически важно для задач байесовского вывода и высокоразмерного статистического моделирования в машинном обучении.

Алгоритм RHMC решает проблему медленной сходимости классических методов Монте-Карло, вводя случайность в процесс симуляции динамики системы. В работе показано, что при правильном выборе параметров интеграции алгоритм достигает стационарного распределения значительно быстрее, чем стандартные методы MCMC. Это позволяет эффективнее работать с распределениями, которые ранее требовали огромных вычислительных затрат для получения точных выборок.

Результаты исследования открывают новые возможности для оптимизации обучения сложных вероятностных моделей, где требуется точная оценка апостериорных распределений. Улучшенные гарантии сходимости позволяют сократить количество итераций, необходимых для достижения заданной точности, что делает метод перспективным для интеграции в современные фреймворки вероятностного программирования и анализа данных.

Ключевые факты

Доказано ускорение времени перемешивания для RHMC при работе с лог-вогнутыми распределениями.
Метод использует комбинацию непрерывной гамильтоновой динамики и периодического обновления скоростей через независимые гауссовские переменные.
Исследование формализует теоретические гарантии эффективности, которые ранее носили эмпирический характер.
Работа направлена на оптимизацию задач байесовского вывода в условиях высокой размерности данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Ускорение сценарного модельного предиктивного управления с помощью машинного обучения Исследователи представили новый метод ускорения сценарного модельного предиктивного управления (SBMPC), который позволяет преодолеть проблему высокой вычислительной сложности при работе с неопределенностью. Интеграция методов машинного обучения в процесс оптимизации сценариев дает возможность выполнять планирование и управление в реальном времени, значительно сокращая временные затраты на вычисления по сравнению с классическими подходами. arXiv · Машинное обучение Представлен метод градиентного сэмплирования GRiLS для сложных распределений Исследователи представили Gradient-free Riemannian Langevin Sampler (GRiLS) — новый метод сэмплирования для работы с мультимодальными вероятностными распределениями. Алгоритм решает проблему «застревания» в локальных модах, характерную для классических методов Монте-Карло, и при этом не требует вычисления градиентов целевой плотности, что значительно упрощает применение метода в задачах с недифференцируемыми функциями или сложными ландшафтами данных. arXiv · Машинное обучение Новый метод повышения эффективности RLHF для диффузионных моделей Исследователи представили метод Selective Timestep Weighting and Advantage-Based Replay, который значительно повышает эффективность обучения с подкреплением на основе отзывов людей (RLHF) для диффузионных моделей. Подход позволяет сократить количество необходимых оценок от человека или модели вознаграждения, решая проблему высокой ресурсоемкости адаптации генеративных моделей под предпочтения пользователей в реальных сценариях. arXiv · Машинное обучение Масштабируемые байесовские модели для анализа временных рядов в астрономии Исследователи представили новый метод обработки высокочастотных данных астрономических наблюдений, позволяющий эффективно выявлять вспышки на звездах. Традиционные гауссовские процессы (GP) часто сталкиваются с вычислительными ограничениями при работе с длинными временными рядами из-за кубической сложности алгоритмов. Авторы работы предложили решение, объединяющее амортизированный байесовский вывод и скрытые марковские модели (HMM), что позволяет значительно ускорить анализ без потери точности. arXiv · Исследования и наука Оптимизация алгоритмов поиска по дереву Монте-Карло для условий неопределенности Исследователи представили метод динамического распределения ресурсов для алгоритма Ensemble Determinization MCTS, предназначенного для работы в средах с высокой степенью неопределенности. Новый подход оптимизирует процесс принятия решений в играх с неполной информацией и случайными факторами, позволяя более эффективно распределять вычислительные мощности между различными сценариями детерминизации, что значительно повышает качество стратегий в сложных игровых ситуациях. arXiv · Машинное обучение Исследование подтвердило превосходство случайного перемешивания данных в SGD Исследователи проанализировали алгоритм Shuffling Stochastic Gradient Descent (SGD) и доказали, что стратегия случайного перемешивания данных (Random Reshuffling) значительно эффективнее классического стохастического градиентного спуска. Работа объясняет, почему этот метод стал стандартом в современном обучении нейронных сетей, обеспечивая более быструю сходимость и стабильность процесса оптимизации при работе с большими массивами данных. arXiv · Машинное обучение Новые теоретические гарантии для алгоритма Bregman ADMM в невыпуклой оптимизации Исследователи представили анализ алгоритма Bregman ADMM для решения задач невыпуклой оптимизации с линейными ограничениями. Авторы заменили стандартное предположение о липшицевости градиента на условие относительной гладкости, основанное на сравнении гессианов относительно ядра Брегмана. Это позволяет эффективно оптимизировать сложные полиномиальные целевые функции в матричных и тензорных моделях, где глобальная константа Липшица зачастую отсутствует. arXiv · Исследования и наука Иерархическая байесовская квадратура для повышения точности численного интегрирования Исследователи представили метод иерархической байесовской квадратуры, который оптимизирует процесс численного интегрирования в сложных вычислительных задачах. Новый подход позволяет более эффективно использовать суррогатные модели на основе гауссовских процессов. Это существенно улучшает оценку интегралов и точность количественной оценки неопределенности, что критически важно для инженерного моделирования и вычисления свидетельств моделей в вероятностном машинном обучении. Hacker News · Инференс и железо Ускорение инференса LLM на GPU AMD через оптимизацию GEMM AMD представила новые методы оптимизации операций матричного умножения (GEMM) для своих графических процессоров, направленные на снижение задержек при работе с большими языковыми моделями. Обновления в программном стеке ROCm позволяют значительно повысить производительность инференса, обеспечивая более эффективную обработку запросов в реальном времени и оптимизируя использование вычислительных ресурсов архитектуры CDNA. arXiv · Машинное обучение Новый метод GR-RTRMC для оптимизации матриц с графовой регуляризацией Исследователи представили метод GR-RTRMC, который улучшает задачу восстановления матриц низкого ранга за счет интеграции графовой регуляризации в существующий фреймворк Riemannian Trust-Region Matrix Completion (RTRMC). Подход использует геометрию ограничений низкого ранга, преобразуя задачу в нелинейную оптимизацию на многообразии Грассмана, что позволяет эффективнее учитывать структурные связи в данных при их восстановлении.

← Все материалы