GitHub · 24.07.2026 ·Инфраструктура для агентов

MoonEP: библиотека для оптимизации параллелизма экспертов в Mixture-of-Experts моделях

Компания Moonshot AI представила MoonEP — библиотеку для эффективного обучения и инференса моделей с архитектурой Mixture-of-Experts (MoE). Решение использует механизм динамических избыточных экспертов для устранения дисбаланса нагрузки между вычислительными узлами. Это позволяет значительно повысить пропускную способность системы и эффективность использования GPU при работе с крупными языковыми моделями, сохраняя при этом высокую точность вычислений.

Традиционные MoE-модели часто сталкиваются с проблемой «узких мест», когда часть экспертов перегружена запросами, а другие простаивают. MoonEP решает эту задачу за счет перераспределения нагрузки в реальном времени. Библиотека обеспечивает балансировку без необходимости сложной ручной настройки гиперпараметров, что упрощает масштабирование обучения моделей на кластерах с большим количеством графических ускорителей.

Технология ориентирована на разработчиков инфраструктуры, работающих с высоконагруженными системами инференса и крупномасштабным обучением. Использование динамического подхода позволяет минимизировать задержки при обработке токенов, что критически важно для агентных систем и сервисов, требующих низкой латентности при работе с тяжелыми архитектурами.

Ключевые факты

MoonEP реализует стратегию динамических избыточных экспертов для выравнивания нагрузки в MoE-моделях.
Библиотека направлена на решение проблемы дисбаланса вычислений, характерной для стандартных реализаций MoE.
Инструмент оптимизирует использование GPU, повышая общую производительность обучения и инференса.
Проект доступен в открытом доступе на GitHub для интеграции в существующие пайплайны разработки моделей.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение PuzzleMoE: новый метод сжатия моделей Mixture-of-Experts Исследователи представили PuzzleMoE — метод эффективного сжатия моделей с архитектурой Mixture-of-Experts (MoE). Технология позволяет значительно сократить количество параметров и вычислительные затраты при сохранении высокой точности нейросети. Подход оптимизирует структуру экспертов, делая крупные языковые модели более доступными для развертывания на ограниченных аппаратных ресурсах без существенной потери качества генерации. arXiv · Инфраструктура для агентов UBEP: оптимизация коммуникации для MoE-моделей на суперкомпьютерах Исследователи представили UBEP — библиотеку для оптимизации коммуникации в архитектурах Mixture-of-Experts (MoE) при работе на высокопроизводительных кластерах. Решение устраняет критические узкие места в передаче данных между экспертами, которые ограничивают масштабируемость современных систем уровня NVIDIA NVL72. UBEP значительно повышает эффективность использования пропускной способности сети, обеспечивая более высокую скорость обучения и инференса крупномасштабных моделей. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. Hacker News · Модели и релизы AMD представила Instella-MoE: открытую модель с архитектурой Mixture-of-Experts Компания AMD выпустила Instella-MoE — новую открытую языковую модель, построенную на архитектуре Mixture-of-Experts (MoE). Релиз направлен на оптимизацию производительности при выполнении сложных вычислительных задач на аппаратном обеспечении AMD, включая использование стека ROCm. Модель демонстрирует эффективность в задачах инференса, сочетая высокую скорость обработки данных с качеством генерации, сопоставимым с современными аналогами аналогичного размера. arXiv · Модели и релизы Новый метод SoftMoE для эффективного масштабирования LLM Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов. arXiv · Модели и релизы Как оптимально обрезать экспертов в моделях MoE Исследователи предложили унифицированный подход к обрезке экспертов в моделях Mixture-of-Experts (MoE), что может существенно снизить память и вычислительные затраты при развёртывании таких моделей. В статье, опубликованной на arXiv, авторы отмечают, что хотя MoE-модели эффективно распределяют вычисления между экспертами, их развёртывание всё равно требует хранения полного пула экспертов. Это создаёт проблемы с памятью, особенно при использовании в агентных системах, где важна эффективность инференса. Hacker News · Инференс и железо Инструмент для оценки скорости инференса MoE-моделей Moe Estimator — это калькулятор для моделирования скорости декодирования Mixture-of-Experts (MoE) моделей с учетом стратегии скрытия задержек через послойную предварительную выборку (layer-major prefetch). Инструмент позволяет инженерам прогнозировать производительность инференса в зависимости от конфигурации аппаратного обеспечения и архитектурных параметров модели, помогая оптимизировать пропускную способность при работе с большими языковыми моделями. arXiv · Инференс и железо Метод MAESTRO для оптимизации Mixture-of-Experts моделей Исследователи представили метод MAESTRO для эффективного прунинга (прореживания) экспертов в разреженно-активируемых моделях (MoE). Технология позволяет удалять избыточные параметры, сохраняя при этом высокую точность работы нейросети. Это решение значительно снижает требования к оперативной памяти при развертывании крупных языковых моделей, устраняя одну из главных проблем масштабируемости архитектур типа MoE в продакшене. arXiv · Инфраструктура для агентов CrossPool: оптимизация памяти при обслуживании множества MoE-моделей Исследователи представили CrossPool — метод эффективного обслуживания множества разреженных MoE-моделей (Mixture-of-Experts). Решение разделяет управление весами моделей и KV-кэшем, что позволяет динамически распределять ресурсы памяти GPU. Это минимизирует потери при работе с «холодными» моделями, которые редко достигают пиковой нагрузки, и значительно повышает плотность размещения моделей на одном сервере. Hacker News · Инференс и железо HotPin: запуск 120B MoE моделей на 24 ГБ оперативной памяти Метод HotPin позволяет запускать массивные MoE-модели (Mixture of Experts) объемом 120 млрд параметров на потребительском оборудовании с 24 ГБ оперативной памяти. Решение использует стратегию кэширования экспертов, минимизируя нагрузку на систему при сохранении точности вычислений. Это открывает возможности для локального инференса тяжелых моделей без необходимости в дорогостоящих серверных GPU с огромным объемом видеопамяти.

← Все материалы