arXiv · 27.07.2026 ·Машинное обучение

TemporalSinkhorn: ускорение решения задач оптимального транспорта

Исследователи представили TemporalSinkhorn — новый метод параллельного во времени вычисления для динамического энтропийного оптимального транспорта. В отличие от классических последовательных алгоритмов, требующих синхронизации на каждой итерации, этот подход позволяет эффективно обрабатывать пакеты будущих кандидатов. Метод сохраняет высокую точность вычислений, значительно сокращая временные затраты при решении задач, критически важных для Flow Matching и генеративных моделей.

Алгоритм Sinkhorn широко используется в задачах машинного обучения, связанных с распределениями вероятностей, однако его традиционная реализация становится «узким местом» при масштабировании на распределенные системы. TemporalSinkhorn решает эту проблему за счет изменения структуры вычислений: вместо пошаговой синхронизации система выполняет пакетную обработку состояний, что позволяет лучше утилизировать вычислительные мощности современных GPU-кластеров.

Данное решение особенно актуально для обучения современных диффузионных моделей и методов Flow Matching, где требуется многократное решение задач оптимального транспорта. Оптимизация процесса позволяет ускорить обучение нейросетей без потери качества аппроксимации, что открывает возможности для более быстрого итеративного обучения моделей с высокой размерностью данных.

Ключевые факты

TemporalSinkhorn устраняет необходимость в последовательной синхронизации на каждой итерации алгоритма Sinkhorn.
Метод использует параллелизацию во времени, объединяя будущие кандидаты и их корректировки в единые пакеты вычислений.
Алгоритм обеспечивает строгую точность результатов, исключая спекулятивные вычисления, характерные для некоторых методов параллелизации.
Технология напрямую применима к задачам Optimal Transport Flow Matching, используемым в современных генеративных архитектурах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение FlowPipe: автоматизация пайплайнов подготовки данных с помощью GFlowNets и LLM Исследователи представили FlowPipe — новый метод автоматического построения пайплайнов подготовки данных для машинного обучения. Система объединяет генеративные потоковые сети (GFlowNets) с возможностями LLM для навигации в сложном комбинаторном пространстве операторов очистки и трансформации. Подход позволяет эффективно находить оптимальные последовательности преобразований, минимизируя затраты на дорогостоящую оценку качества данных на каждом этапе обучения модели. arXiv · Машинное обучение Новый метод обучения моделей с использованием потоковых карт для онлайн-поиска Исследователи представили метод Sequentially-Controlled Interactive Multi-Particle Flow-Maps (SCIM-Flow), предназначенный для оптимизации моделей в условиях неизвестных предпочтений. В отличие от стандартных подходов, которые ограничены локальным поиском, новый алгоритм использует динамические потоковые карты частиц для эффективного исследования пространства распределений, что позволяет модели адаптироваться к обратной связи в режиме реального времени и находить области с высокой полезностью. arXiv · Исследования и наука Ускорение моделирования турбулентности с помощью Flow Matching Исследователи предложили новый метод ускорения численного моделирования нелинейных физических систем, основанный на технике Flow Matching. Подход позволяет пропускать длительную фазу переходных процессов в гидродинамике и сразу переходить к статистически установившемуся состоянию турбулентности. Это значительно снижает вычислительные затраты, необходимые для анализа сложных физических явлений, которые традиционно требуют огромных ресурсов при прямом численном моделировании. Hacker News · Машинное обучение Исследование синхронизации задач при совместном обучении ИИ Исследователи проанализировали влияние совместного размещения (co-location) задач обучения нейросетей на общую производительность кластеров. Работа выявляет скрытые механизмы синхронизации, возникающие при конкуренции за ресурсы GPU и пропускную способность сети. Авторы показывают, как эти взаимодействия могут приводить к деградации скорости обучения и предлагают методы оптимизации планировщиков для повышения эффективности распределенных вычислений. arXiv · Машинное обучение Новый метод оптимизации вычислений для медленно меняющихся последовательностей Исследователи предложили новый подход к аппроксимации функций в последовательностях, где значения элементов изменяются незначительно от шага к шагу. В таких задачах разница между соседними элементами остается малой, что позволяет оптимизировать вычислительные затраты при обработке данных. Авторы работы опираются на методы неявной оценки следа (implicit trace estimation), которые позволяют эффективно переиспользовать результаты запросов к предыдущим элементам последовательности. arXiv · Машинное обучение Асинхронный конвейерный параллелизм для обучения LLM без потери эффективности Исследователи представили метод, доказывающий, что одношаговая задержка градиента не является препятствием для эффективного крупномасштабного обучения LLM при использовании асинхронного конвейерного параллелизма. Новый подход позволяет устранить простои графических процессоров, возникающие из-за «пузырей» в конвейере, и значительно повысить пропускную способность системы без ущерба для качества сходимости модели при распределенном обучении на кластерах. arXiv · Модели и релизы Новый подход к долгосрочному прогнозированию временных рядов Исследователи из Arxiv представили новый метод HAMON, который использует пассивное оптическое смешивание последовательностей для долгосрочного прогнозирования временных рядов. Этот подход демонстрирует, что простые линейные и частотные модели могут быть конкурентоспособными в задачах долгосрочного прогнозирования, что ставит под сомнение необходимость использования сложных трансформерных моделей в этом контексте. NVIDIA Technical Blog · Машинное обучение Оптимизация обучения LLM через неравномерный тензорный параллелизм NVIDIA представила метод неравномерного тензорного параллелизма (Nonuniform Tensor Parallelism), направленный на повышение эффективности обучения крупномасштабных языковых моделей. Технология позволяет оптимизировать использование вычислительных ресурсов при работе на тысячах GPU, минимизируя время простоя и повышая показатель goodput — долю полезного времени вычислений в общем процессе обучения, что критически важно для сокращения затрат и ускорения разработки моделей. arXiv · Машинное обучение Новый метод ускорения оценки расстояния Слайсед-Вассерштейна Исследователи представили метод высокопараллельной оценки расстояния Слайсед-Вассерштейна (SW), основанный на использовании функций кумулятивного распределения (CDF). Новый подход позволяет избежать затратной по времени сортировки данных, необходимой в классических методах Монте-Карло, что существенно ускоряет вычисления при работе с большими наборами данных и многомерными распределениями в задачах машинного обучения. arXiv · Машинное обучение Ускорение численного моделирования потоков с помощью графовых нейросетей Исследователи представили новый метод ускорения алгебраических многосеточных решателей (AMG), используемых для решения уравнения Пуассона при моделировании несжимаемых потоков. Традиционные линейные методы часто сталкиваются с вычислительными сложностями из-за неоднородности расчетных сеток, что делает их узким местом в инженерных расчетах.

← Все материалы