arXiv · 06.08.2026 ·Машинное обучение

Новый метод масштабируемого обучения моделей VARMA

Исследователи представили новый подход к обучению моделей векторной авторегрессии со скользящим средним (VARMA), которые ранее считались вычислительно неэффективными для многомерных данных. Предложенный метод позволяет преодолеть проблемы невыпуклости функции правдоподобия и сложности параметризации, сохраняя при этом способность модели эффективно улавливать временные зависимости с меньшим количеством параметров, чем чистые авторегрессионные модели.

Традиционно модели VARMA требовали значительных ресурсов, так как каждая итерация обучения подразумевала полный проход по всему временному ряду, а идентификация параметров была затруднена из-за их эквивалентности. Новый алгоритм оптимизирует процесс оценки, делая использование этих моделей практически применимым для высокоразмерных временных рядов, где важна высокая точность при ограниченном количестве лагов.

Разработка открывает новые возможности для анализа сложных динамических систем в экономике, финансах и метеорологии, где временные зависимости между переменными имеют решающее значение. Метод позволяет строить более компактные и интерпретируемые модели, которые превосходят стандартные подходы по соотношению вычислительной сложности и качества прогнозирования.

Ключевые факты

Модели VARMA позволяют описывать сложные временные ряды с помощью меньшего числа параметров по сравнению с чистыми авторегрессионными моделями.
Основным препятствием для использования VARMA ранее была высокая вычислительная стоимость и невыпуклость функции правдоподобия.
Новый метод обеспечивает масштабируемость оценки параметров, делая модели пригодными для работы с данными высокой размерности.
Алгоритм решает проблему идентификации параметров, которая ранее ограничивала практическое применение VARMA в задачах машинного обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Градиентный бустинг с векторными листьями: новый подход к многомерным задачам Исследователи представили метод градиентного бустинга, использующий векторные значения в листьях деревьев решений вместо традиционных скалярных предсказаний. Этот подход позволяет более эффективно оптимизировать сложные целевые функции, работающие с векторами, что значительно расширяет возможности классических ансамблевых моделей в задачах многоклассовой классификации и других многомерных сценариях, требующих одновременной обработки нескольких зависимых переменных. arXiv · Машинное обучение Новый метод оптимизации латентного пространства в вариационных автокодерах Исследователи предложили метод мягко-ограниченной оптимизации для вариационных автокодеров (VAE), решающий фундаментальный конфликт между емкостью кодирования и качеством разделения признаков. Новый подход позволяет сохранять высокую информационную плотность латентных переменных, избегая при этом их чрезмерного подавления или потери структуры, что критически важно для генеративных моделей и задач представления данных. arXiv · Машинное обучение Новый метод глубокой непараметрической регрессии при сдвиге ковариат Исследователи представили новый подход к обучению глубоких нейронных сетей для задач квантильной и Huber-регрессии в условиях сдвига ковариат и зависимых данных. Метод позволяет эффективно адаптировать модели, когда распределения обучающей и целевой выборок различаются, что является критической проблемой для надежности ИИ-систем в реальных прикладных задачах, где данные поступают из нестационарных источников. arXiv · Машинное обучение Новый метод оптимизации для нелинейных задач в машинном обучении Исследователи представили усовершенствованный метод Левенберга-Марквардта, использующий геометрические обновления высшего порядка через нормальные координаты Римана. Новый подход позволяет эффективнее справляться с кривизной параметров в нелинейных задачах наименьших квадратов, что критически важно для обучения физико-информированных нейронных сетей (PINN) и задач регрессии, где стандартные методы часто сталкиваются с ограничениями из-за высокой нелинейности. arXiv · Машинное обучение Новый метод достижения мульти-калибровки в предсказательных моделях Исследователи представили новый подход к достижению мульти-калибровки (multicalibration) в предсказательных моделях. Мульти-калибровка гарантирует, что прогнозы модели остаются несмещенными не только в среднем, но и при рассмотрении различных подгрупп данных, определенных заданными весовыми функциями. Это свойство является критически важным для обеспечения надежности и справедливости алгоритмов в задачах, где ошибки модели могут иметь неравномерные последствия для разных категорий пользователей. arXiv · Исследования и наука Новый подход к выбору вероятностных моделей для временных рядов Исследователи представили новый метод выбора оптимальных вероятностных моделей при работе с наборами временных рядов. Авторы анализируют использование надлежащих правил оценки (proper scoring rules) для агрегирования результатов на множестве временных рядов. Работа предлагает уточненные статистические подходы, позволяющие более точно оценивать качество прогнозирования моделей в условиях сложной динамики данных и высокой волатильности. arXiv · Машинное обучение Новый метод терминальных эмбеддингов для анализа временных рядов Исследователи представили новый подход к снижению размерности данных с использованием терминальных эмбеддингов, адаптированный для временных рядов. Метод позволяет отображать точки из пространства высокой размерности в низкоразмерное, сохраняя при этом попарные расстояния между объектами с минимальными искажениями. Это решение значительно упрощает обработку сложных последовательностей данных, сохраняя их структурную целостность для последующего анализа и обучения моделей. arXiv · Исследования и наука ParVL: новый метод параллельного масштабирования мультимодальных LLM Исследователи представили ParVL — метод масштабирования мультимодальных больших языковых моделей (MLLM), который устраняет жесткую привязку вычислительных ресурсов между визуальным энкодером и текстовым декодером. В отличие от традиционных подходов, увеличивающих задержку или потребление памяти, ParVL динамически распределяет вычисления, позволяя гибко адаптировать архитектуру под конкретные задачи без существенных накладных расходов на инференс. arXiv · Машинное обучение Метод ARROW для адаптации моделей на потоковых данных Исследователи представили алгоритм ARROW (Adaptive vaRiance Reduction via Online reWeighting), решающий проблему высокой дисперсии при обучении моделей на потоковых данных. Метод оптимизирует функции потерь MMD и CORAL, которые критически важны для адаптации доменов, позволяя эффективно обновлять параметры нейросетей в режиме реального времени без необходимости повторного прохода по всему массиву исторических данных. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды.

← Все материалы