Компания Moonshot AI представила MoonEP — библиотеку для параллелизации экспертов (Expert Parallelism), предназначенную для оптимизации распределенного обучения моделей типа Mixture-of-Experts (MoE). Инструмент с открытым исходным кодом направлен на устранение узких мест при передаче данных между узлами, обеспечивая сбалансированную нагрузку и повышенную эффективность вычислений при масштабировании обучения на кластерах с большим количеством GPU.

Архитектура MoE требует интенсивного обмена данными между экспертными слоями, что часто становится критическим ограничением при работе с крупными языковыми моделями. MoonEP оптимизирует коммуникационные протоколы, минимизируя задержки при пересылке весов и градиентов. Это позволяет разработчикам более эффективно использовать вычислительные ресурсы при обучении моделей с огромным количеством параметров, где традиционные методы параллелизма показывают недостаточную масштабируемость.

Релиз библиотеки состоялся в рамках мероприятия Kimi K3 Open Day, где компания также раскрыла технические детали своей новой модели K3. Использование MoonEP позволяет упростить настройку распределенных сред, обеспечивая предсказуемую производительность при распределении экспертов по вычислительным узлам. Проект распространяется под лицензией MIT, что делает его доступным для интеграции в сторонние исследовательские и производственные пайплайны обучения ИИ.

Ключевые факты

  • MoonEP — специализированная библиотека для оптимизации коммуникации в распределенных MoE-системах.
  • Основная задача инструмента — достижение идеального баланса нагрузки между экспертами при параллельных вычислениях.
  • Библиотека выпущена под лицензией MIT для свободного использования в сообществе.
  • Релиз приурочен к презентации модели Kimi K3, демонстрирующей возможности масштабируемого обучения Moonshot AI.
  • Инструмент ориентирован на снижение накладных расходов при передаче данных в кластерах с высокой плотностью GPU.