NVIDIA Technical Blog · 21.07.2026 ·Инференс и железо

Рекорд обучения MoE-моделей на архитектуре NVIDIA GB200 NVL72

NVIDIA продемонстрировала возможности своей новой вычислительной платформы GB200 NVL72, установив рекорд эффективности при обучении Mixture-of-Experts (MoE) моделей. Использование специализированного оборудования позволило значительно ускорить процесс обработки токенов и оптимизировать распределение вычислительных ресурсов, что становится критически важным фактором для масштабирования современных frontier-моделей и преодоления ограничений традиционных архитектур обучения.

Переход к архитектуре MoE требует пересмотра подходов к организации памяти и пропускной способности каналов связи между графическими процессорами. В ходе тестов инженеры сфокусировались на минимизации задержек при обмене данными между узлами, что позволило достичь высокой степени параллелизма. Это решение демонстрирует, как аппаратная оптимизация напрямую влияет на скорость сходимости моделей при работе с огромными массивами данных.

Масштабируемость системы обеспечивается за счет объединения 72 графических процессоров в единый вычислительный узел, работающий как один гигантский GPU. Такой подход позволяет эффективно распределять экспертные блоки модели между вычислительными мощностями, снижая накладные расходы на коммуникацию и повышая общую производительность обучения в задачах с интенсивным использованием памяти.

Ключевые факты

Платформа GB200 NVL72 объединяет 72 графических процессора в единый кластер с высокой пропускной способностью.
Архитектура MoE выбрана как основной стандарт для обучения моделей нового поколения из-за эффективности использования вычислительных ресурсов на токен.
Использование NVLink Switch System обеспечивает прямое взаимодействие между всеми GPU в стойке, устраняя узкие места при передаче данных.
Тестирование подтвердило способность системы поддерживать линейное масштабирование производительности при увеличении количества параметров модели.

Источник: NVIDIA Technical Blog

Обсудить с ИИ

Похожие материалы

NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. arXiv · Инфраструктура для агентов UBEP: оптимизация коммуникации для MoE-моделей на суперкомпьютерах Исследователи представили UBEP — библиотеку для оптимизации коммуникации в архитектурах Mixture-of-Experts (MoE) при работе на высокопроизводительных кластерах. Решение устраняет критические узкие места в передаче данных между экспертами, которые ограничивают масштабируемость современных систем уровня NVIDIA NVL72. UBEP значительно повышает эффективность использования пропускной способности сети, обеспечивая более высокую скорость обучения и инференса крупномасштабных моделей. NVIDIA Technical Blog · Инференс и железо NVIDIA NVLink: масштабируемая архитектура для обучения и инференса ИИ NVIDIA представила подробный обзор технологии NVLink, которая служит фундаментом для создания высокопроизводительных вычислительных кластеров. Архитектура обеспечивает сверхбыструю передачу данных между графическими процессорами, позволяя объединять тысячи GPU в единую вычислительную систему. Это критически важное решение для обучения масштабных моделей и выполнения сложных задач инференса, требующих минимальных задержек при обмене данными между узлами. NVIDIA Technical Blog · Машинное обучение Совместное проектирование ИИ-моделей и аппаратного обеспечения NVIDIA представила концепцию совместного проектирования (co-design), объединяющую архитектуру LLM с возможностями графических процессоров. Подход фокусируется на балансе между точностью модели, пропускной способностью (токенов в секунду) и задержкой. Оптимизация структуры нейросети под конкретное «железо» позволяет значительно повысить эффективность инференса без потери качества генерации, что критично для масштабируемых ИИ-систем. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. MarkTechPost · Модели и релизы NVIDIA представила модель Nemotron-Labs-3-Puzzle-75B с повышенной пропускной способностью NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — оптимизированную версию модели Nemotron-3-Super, использующую гибридную архитектуру MoE (Mixture of Experts). Благодаря методу итеративного сжатия Puzzle, разработчикам удалось увеличить пропускную способность сервера в 2,03 раза при сохранении прежней скорости генерации для пользователя, значительно снизив при этом требования к количеству активных параметров. Hacker News · Инференс и железо Запуск 35B MoE моделей на устаревших GPU через Vulkan Появилось руководство по запуску крупных языковых моделей архитектуры Mixture of Experts (MoE) с 35 миллиардами параметров на видеокартах прошлых поколений, таких как AMD Radeon RX 580 с 8 ГБ видеопамяти. Техническое решение базируется на использовании графического API Vulkan, что позволяет обойти аппаратные ограничения и отсутствие поддержки проприетарных платформ вроде ROCm или CUDA. Hugging Face - Blog · Обучение и дообучение Масштабируемое дообучение моделей NVIDIA NeMo и Hugging Face Diffusers NVIDIA и Hugging Face представили интеграцию библиотеки NeMo с фреймворком Diffusers, позволяющую эффективно дообучать генеративные модели для работы с изображениями и видео. Решение ориентировано на крупномасштабные задачи, обеспечивая высокую производительность при работе с большими наборами данных и распределенными вычислительными мощностями, что значительно упрощает процесс адаптации моделей под специфические бизнес-задачи и визуальные стили. NVIDIA Technical Blog · Машинное обучение Оптимизация обучения LLM через неравномерный тензорный параллелизм NVIDIA представила метод неравномерного тензорного параллелизма (Nonuniform Tensor Parallelism), направленный на повышение эффективности обучения крупномасштабных языковых моделей. Технология позволяет оптимизировать использование вычислительных ресурсов при работе на тысячах GPU, минимизируя время простоя и повышая показатель goodput — долю полезного времени вычислений в общем процессе обучения, что критически важно для сокращения затрат и ускорения разработки моделей. The Decoder · Инференс и железо Meituan обучила модель на 1,6 трлн параметров без использования чипов Nvidia Китайская технологическая компания Meituan представила модель LongCat-2.0, насчитывающую 1,6 триллиона параметров. Обучение системы было полностью проведено на вычислительных мощностях китайского производства, без использования графических процессоров Nvidia. Этот кейс демонстрирует возможность масштабирования обучения нейросетей в условиях экспортных ограничений на передовое западное оборудование, опираясь исключительно на внутреннюю инфраструктуру и локальные аппаратные решения.

← Все материалы