Исследователи представили метод MAESTRO для эффективного прунинга (прореживания) экспертов в разреженно-активируемых моделях (MoE). Технология позволяет удалять избыточные параметры, сохраняя при этом высокую точность работы нейросети. Это решение значительно снижает требования к оперативной памяти при развертывании крупных языковых моделей, устраняя одну из главных проблем масштабируемости архитектур типа MoE в продакшене.
Традиционные методы прунинга, разработанные для плотных трансформеров, часто оказываются неэффективными для MoE-моделей, так как не учитывают динамическую природу активации экспертов. MAESTRO оценивает важность каждого эксперта на основе глобальных метрик, что позволяет более точно определять компоненты, которые можно безопасно удалить без существенной потери качества генерации.
Применение данного подхода позволяет существенно сократить объем VRAM, необходимой для инференса, что критически важно для запуска современных моделей на ограниченном аппаратном обеспечении. Метод обеспечивает баланс между скоростью работы и качеством ответов, делая использование массивных MoE-архитектур более доступным для широкого спектра вычислительных сред.
Ключевые факты
- Метод MAESTRO предназначен для оптимизации разреженно-активируемых моделей (MoE) через удаление избыточных экспертов.
- Технология решает проблему избыточного потребления памяти, характерную для MoE-архитектур, где все эксперты постоянно удерживаются в VRAM.
- В отличие от стандартных методов прунинга, MAESTRO использует глобальную оценку значимости экспертов вместо локальных метрик.
- Разработка направлена на снижение барьеров при развертывании высокопроизводительных моделей в условиях ограниченных вычислительных ресурсов.