arXiv · 07.07.2026 ·Инфраструктура для агентов

UBEP: оптимизация коммуникации для MoE-моделей на суперкомпьютерах

Исследователи представили UBEP — библиотеку для оптимизации коммуникации в архитектурах Mixture-of-Experts (MoE) при работе на высокопроизводительных кластерах. Решение устраняет критические узкие места в передаче данных между экспертами, которые ограничивают масштабируемость современных систем уровня NVIDIA NVL72. UBEP значительно повышает эффективность использования пропускной способности сети, обеспечивая более высокую скорость обучения и инференса крупномасштабных моделей.

Развертывание MoE-моделей на современных суперподах сталкивается с проблемами, выходящими за рамки простой пропускной способности интерконнекта. Несмотря на наличие унифицированных пространств адресов и высокоскоростных фабрик, существующие протоколы не справляются с разреженным характером коммуникации экспертов. UBEP пересматривает архитектуру взаимодействия, минимизируя задержки при пересылке весов и активаций между узлами.

Внедрение UBEP позволяет преодолеть три фундаментальных барьера: неэффективное управление памятью, избыточные накладные расходы на синхронизацию и неоптимальное распределение нагрузки в разреженных сетях. Это решение критически важно для эксплуатации кластеров с тысячами GPU, где коммуникационные задержки становятся главным фактором, сдерживающим производительность обучения моделей с сотнями миллиардов параметров.

Ключевые факты

UBEP оптимизирует работу с MoE-моделями на системах NVIDIA NVL72/576 и Huawei CloudMatrix384.
Библиотека устраняет три ключевых узких места в коммуникации, характерных для разреженных архитектур (MoE).
Решение направлено на повышение эффективности использования глобального адресного пространства в суперподах.
Разработка позволяет масштабировать обучение моделей на кластеры, превышающие текущие лимиты пропускной способности интерконнекта.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение PuzzleMoE: новый метод сжатия моделей Mixture-of-Experts Исследователи представили PuzzleMoE — метод эффективного сжатия моделей с архитектурой Mixture-of-Experts (MoE). Технология позволяет значительно сократить количество параметров и вычислительные затраты при сохранении высокой точности нейросети. Подход оптимизирует структуру экспертов, делая крупные языковые модели более доступными для развертывания на ограниченных аппаратных ресурсах без существенной потери качества генерации. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. NVIDIA Technical Blog · Машинное обучение Оптимизация обучения LLM через неравномерный тензорный параллелизм NVIDIA представила метод неравномерного тензорного параллелизма (Nonuniform Tensor Parallelism), направленный на повышение эффективности обучения крупномасштабных языковых моделей. Технология позволяет оптимизировать использование вычислительных ресурсов при работе на тысячах GPU, минимизируя время простоя и повышая показатель goodput — долю полезного времени вычислений в общем процессе обучения, что критически важно для сокращения затрат и ускорения разработки моделей. NVIDIA Technical Blog · Машинное обучение Ускорение BEV-пулинга на GPU NVIDIA для систем физического ИИ NVIDIA представила методы оптимизации BEV-пулинга (Bird's-Eye-View) — критически важного этапа обработки данных в автономном транспорте и робототехнике. Новые подходы позволяют значительно сократить задержки при проекции данных с камер в единое 3D-пространство, что критично для систем реального времени. Оптимизация реализована через специализированные CUDA-ядра, повышающие пропускную способность при работе с пространственными признаками. Hugging Face - Blog · Обучение и дообучение Ускорение дообучения трансформеров с NVIDIA NeMo AutoModel NVIDIA представила интеграцию NeMo AutoModel с библиотекой Hugging Face, позволяющую значительно ускорить процесс дообучения больших языковых моделей. Решение автоматизирует настройку конфигураций и оптимизацию вычислений, позволяя разработчикам эффективнее использовать аппаратные ресурсы при работе с архитектурами трансформеров. Инструментарий упрощает переход от прототипирования к масштабируемому обучению на GPU, минимизируя ручную настройку параметров. NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. arXiv · Инфраструктура для агентов CrossPool: оптимизация памяти при обслуживании множества MoE-моделей Исследователи представили CrossPool — метод эффективного обслуживания множества разреженных MoE-моделей (Mixture-of-Experts). Решение разделяет управление весами моделей и KV-кэшем, что позволяет динамически распределять ресурсы памяти GPU. Это минимизирует потери при работе с «холодными» моделями, которые редко достигают пиковой нагрузки, и значительно повышает плотность размещения моделей на одном сервере. Hacker News · Инференс и железо Оптимизация инференса через компиляцию моделей в единый мегакернел Разработан метод, позволяющий компилировать любые модели с платформы HuggingFace в единый персистентный мегакернел. Такой подход направлен на радикальное ускорение работы нейросетей за счет минимизации накладных расходов при выполнении операций на графическом процессоре. Hacker News · Инференс и железо Распределенный инференс модели на 229 млрд параметров через интернет Исследователи представили метод распределенного инференса для MoE-модели (Mixture of Experts) объемом 229 миллиардов параметров, работающий в интерактивном режиме через интернет. Технология позволяет запускать тяжелые языковые модели, используя вычислительные мощности нескольких узлов, объединенных сетью, что значительно снижает требования к локальному оборудованию при сохранении высокой скорости генерации токенов. Hacker News · Инфраструктура для агентов Инструменты профилирования CUDA для оптимизации инференса в продакшене Разработчики систем машинного обучения получили новый подход к мониторингу производительности GPU при работе с нейросетями в реальном времени. Основная сложность при запуске моделей в продакшене заключается в поиске «узких мест», которые возникают на уровне низкоуровневых операций CUDA. Традиционные инструменты часто требуют остановки процессов или сложной настройки окружения, что делает их непригодными для высоконагруженных систем.

← Все материалы