arXiv · 16.07.2026 ·Машинное обучение

Исследование смещения в алгоритмах HMC и Langevin

Исследователи проанализировали проблему систематического смещения (bias) в неадаптированных методах сэмплирования, таких как гамильтоново Монте-Карло (HMC) и затухающая динамика Ланжевена. Работа доказывает, что при определенных условиях это смещение локализуется, что позволяет использовать данные методы без классической поправки Метрополиса-Гастингса, сохраняя при этом вычислительную эффективность и точность аппроксимации распределений в задачах машинного обучения.

Традиционно для устранения смещения в HMC применялась процедура Метрополиса-Гастингса. Однако этот подход требует крайне малого размера шага для поддержания приемлемого уровня принятия решений, что существенно увеличивает итерационную сложность алгоритмов. Авторы статьи предлагают теоретическое обоснование того, как именно распределяется ошибка, позволяя исследователям избегать избыточных вычислительных затрат при сохранении качества выборки.

Полученные результаты открывают новые возможности для оптимизации байесовского вывода и обучения сложных вероятностных моделей. Снижение зависимости от поправки Метрополиса-Гастингса позволяет использовать более крупные шаги дискретизации, что критически важно для масштабирования методов Монте-Карло на высокоразмерные пространства параметров, характерные для современных нейронных сетей и глубоких генеративных моделей.

Ключевые факты

Исследование фокусируется на неадаптированных (unadjusted) версиях алгоритмов HMC и затухающего уравнения Ланжевена.
Доказано, что смещение в данных методах не является глобально распределенным, что упрощает контроль точности без использования поправки Метрополиса.
Отказ от поправки Метрополиса-Гастингса позволяет значительно сократить итерационную сложность за счет возможности увеличения шага дискретизации.
Работа предоставляет теоретическую базу для более эффективного сэмплирования в задачах с высокой размерностью данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Ускорение сходимости алгоритма Randomized Hamiltonian Monte Carlo Исследователи представили математическое доказательство ускоренного времени перемешивания для алгоритма Randomized Hamiltonian Monte Carlo (RHMC) при выборке из лог-вогнутых распределений вероятностей. Метод, основанный на циклической симуляции гамильтоновой динамики со случайными интервалами интеграции и сбросом скоростей, демонстрирует повышенную вычислительную эффективность, что критически важно для задач байесовского вывода и высокоразмерного статистического моделирования в машинном обучении. arXiv · Исследования и наука Исследование: точность score matching не гарантирует стабильность диффузионных моделей Исследователи выявили фундаментальную проблему в обучении диффузионных моделей: низкая ошибка аппроксимации score-функции на прямой траектории не гарантирует численной стабильности при обратном сэмплировании. Авторы доказали, что даже при минимальной L2-ошибке на маргинальных распределениях, процесс генерации может приводить к расходимости, что ставит под сомнение надежность существующих методов оценки качества обучения моделей. arXiv · Исследования и наука Исследование устойчивости вариационного метода Монте-Карло в нейросетевых анзацах Исследователи проанализировали устойчивость вариационного метода Монте-Карло (VMC), широко применяемого в теории электронной структуры для поиска основных состояний квантовых систем. Работа доказывает, что эффективность стохастической оптимизации в современных нейросетевых архитектурах, таких как FermiNet, напрямую зависит от узловой геометрии волновой функции, что создает фундаментальные ограничения для сходимости алгоритмов при работе с тяжелыми хвостами распределений. arXiv · Исследования и наука Математический подход к безопасности обучения моделей через Langevin Dynamics Исследователи представили новый теоретический метод оценки рисков при обучении нейронных сетей, использующих стохастический градиентный спуск. Авторы рассматривают процесс обучения как передемпфированную динамику Ланжевена и выводят математические границы вероятности попадания параметров модели в «опасные зоны» (failure regions), что позволяет контролировать стабильность и безопасность весов в процессе оптимизации функции потерь. arXiv · Исследования и наука Что на самом деле изучают дискретные диффузионные модели Исследователи проанализировали внутреннюю механику дискретных диффузионных моделей, ответив на вопрос, что именно оптимизирует нейросеть в процессе обучения. Авторы доказали, что денойзер, отношение оценок (score ratio) и предикторы мостов являются математически эквивалентными объектами, представленными в разных координатах. Некорректный выбор системы координат при интерпретации сети приводит к изменению процесса обучения и генерации данных. arXiv · Машинное обучение Новые теоретические границы для стохастического субградиентного метода Исследователи представили уточненные теоретические оценки для последнего итерата стохастического субградиентного метода применительно к одномерным выпуклым липшицевым функциям. Авторы доказали, что при фиксированном горизонте итераций $n$ и стандартном шаге $\eta = \Theta(1/\sqrt{n})$ ошибка оптимизации достигает порядка $1/\sqrt{n}$. Это фундаментальное уточнение устраняет необходимость в усреднении итераций для достижения оптимальной сходимости в заданных условиях. arXiv · Машинное обучение Новые теоретические гарантии для алгоритма Bregman ADMM в невыпуклой оптимизации Исследователи представили анализ алгоритма Bregman ADMM для решения задач невыпуклой оптимизации с линейными ограничениями. Авторы заменили стандартное предположение о липшицевости градиента на условие относительной гладкости, основанное на сравнении гессианов относительно ядра Брегмана. Это позволяет эффективно оптимизировать сложные полиномиальные целевые функции в матричных и тензорных моделях, где глобальная константа Липшица зачастую отсутствует. arXiv · Машинное обучение Новый метод оценки обобщающей способности моделей через PAC-Bayes Исследователи представили новый подход к дерандомизации PAC-Bayes оценок для функций потерь с высокой степенью гладкости. Традиционные методы оценки обобщающей способности моделей часто опираются на вероятностные предсказатели, что затрудняет их прямое применение к детерминированным алгоритмам. Авторы работы предлагают математический аппарат, позволяющий переносить теоретические гарантии с ансамблей типа Gibbs на конкретные детерминированные модели, используя свойства гладкости функции потерь и класса предсказателей. arXiv · Машинное обучение Асинхронный конвейерный параллелизм для обучения LLM без потери эффективности Исследователи представили метод, доказывающий, что одношаговая задержка градиента не является препятствием для эффективного крупномасштабного обучения LLM при использовании асинхронного конвейерного параллелизма. Новый подход позволяет устранить простои графических процессоров, возникающие из-за «пузырей» в конвейере, и значительно повысить пропускную способность системы без ущерба для качества сходимости модели при распределенном обучении на кластерах. arXiv · Машинное обучение Исследование подтвердило превосходство случайного перемешивания данных в SGD Исследователи проанализировали алгоритм Shuffling Stochastic Gradient Descent (SGD) и доказали, что стратегия случайного перемешивания данных (Random Reshuffling) значительно эффективнее классического стохастического градиентного спуска. Работа объясняет, почему этот метод стал стандартом в современном обучении нейронных сетей, обеспечивая более быструю сходимость и стабильность процесса оптимизации при работе с большими массивами данных.

← Все материалы