Разработчики реализовали запуск нейросетей семейства Gemma на аппаратном ускорителе Apple Neural Engine (ANE). Использование специализированного чипа вместо стандартных ядер GPU позволяет значительно оптимизировать энергопотребление и повысить производительность при инференсе локальных моделей на устройствах Mac. Это открывает новые возможности для запуска LLM на потребительском «железе» Apple с высокой энергоэффективностью.
Процесс интеграции включает использование фреймворка Core ML, который выступает связующим звеном между весами модели и вычислительными мощностями ANE. Основная сложность заключается в конвертации архитектуры трансформеров в формат, оптимизированный для нейронного движка Apple, что требует специфической настройки слоев и операций. Успешный запуск подтверждает гибкость современных методов квантования и компиляции моделей для работы на специализированных ускорителях.
Данный подход позволяет снизить нагрузку на графический процессор, оставляя его свободным для других задач, что критически важно при создании локальных агентных систем или фоновых сервисов на базе ИИ. Оптимизация под ANE демонстрирует тренд на перенос тяжелых вычислений с универсальных GPU на специализированные блоки, что становится стандартом для локального запуска моделей на персональных компьютерах.
Ключевые факты
- Реализован запуск моделей Gemma на аппаратном ускорителе Apple Neural Engine.
- Использование ANE позволяет снизить энергопотребление при выполнении инференса.
- В качестве основного инструмента для интеграции используется фреймворк Core ML.
- Метод позволяет разгрузить GPU, перенаправляя вычислительные задачи на специализированный нейронный блок.