Исследователи представили PuzzleMoE — метод эффективного сжатия моделей с архитектурой Mixture-of-Experts (MoE). Технология позволяет значительно сократить количество параметров и вычислительные затраты при сохранении высокой точности нейросети. Подход оптимизирует структуру экспертов, делая крупные языковые модели более доступными для развертывания на ограниченных аппаратных ресурсах без существенной потери качества генерации.
Основная проблема современных MoE-моделей заключается в их огромном размере, который требует значительных объемов видеопамяти. Авторы PuzzleMoE предложили стратегию «паззл-сборки», которая перераспределяет веса и объединяет избыточные компоненты экспертов. Это позволяет достичь высокой степени сжатия, сохраняя при этом способность модели эффективно обрабатывать сложные запросы, характерные для архитектур с разреженными вычислениями.
Метод включает в себя этапы анализа важности экспертов и их последующей реорганизации в более компактные блоки. В отличие от стандартной дистилляции, PuzzleMoE фокусируется на структурной оптимизации, что позволяет использовать сжатые модели в задачах, где критически важна скорость инференса и низкое потребление ресурсов. Исследование демонстрирует, что такой подход эффективнее традиционных методов прунинга для моделей с динамической активацией параметров.
Ключевые факты
- PuzzleMoE обеспечивает сжатие параметров модели без значительного снижения метрик качества (perplexity).
- Метод ориентирован на архитектуры Mixture-of-Experts, где количество активных параметров значительно меньше общего числа весов.
- Технология позволяет снизить требования к VRAM, что упрощает запуск больших моделей на потребительском или серверном оборудовании среднего уровня.
- Исследование проведено лабораторией Supercomputing System AI Lab, специализирующейся на оптимизации высокопроизводительных вычислений для ИИ.