Разработчики платформы Modular объявили о поддержке Apple Silicon для запуска моделей семейства Max. Теперь пользователи могут использовать графические процессоры (GPU) чипов Apple M-серии для высокопроизводительного инференса, что значительно расширяет возможности локальной работы с ИИ-моделями на устройствах Mac без необходимости использования облачных мощностей или специализированных ускорителей NVIDIA.
Интеграция реализована через движок MAX, который оптимизирует выполнение графов вычислений непосредственно на архитектуре Apple. Это позволяет добиться существенного прироста скорости обработки данных и снижения задержек при выполнении нейросетевых задач. Поддержка GPU Apple Silicon открывает доступ к локальному запуску моделей для широкого круга разработчиков, использующих экосистему macOS для создания и тестирования агентных систем.
Данное обновление устраняет зависимость от CUDA-совместимого оборудования при работе с высокопроизводительными моделями в рамках стека Modular. Оптимизация направлена на эффективное использование объединенной памяти (Unified Memory) чипов Apple, что критически важно для работы с большими языковыми моделями, требующими значительного объема видеопамяти для быстрой генерации токенов.
Ключевые факты
- Поддержка распространяется на все актуальные чипы Apple Silicon, включая серии M1, M2 и M3.
- Реализация выполнена через нативный движок MAX, обеспечивающий прямую работу с GPU через Metal API.
- Оптимизация позволяет запускать модели с использованием объединенной памяти, что упрощает работу с крупными весами моделей.
- Обновление направлено на унификацию процесса инференса между серверными решениями и локальными рабочими станциями разработчиков.