Исследователи представили ANEForge — программный стек, позволяющий выполнять вычисления непосредственно на Apple Neural Engine (ANE), минуя стандартные высокоуровневые фреймворки. Инструмент предоставляет интерфейс на языке Python, который транслирует операции в низкоуровневые инструкции, понятные нейронному процессору в чипах Apple Silicon.
Основная задача разработки — устранение накладных расходов, возникающих при использовании Core ML или Metal Performance Shaders. Прямое управление аппаратным ускорителем позволяет значительно сократить задержки при инференсе нейросетей и оптимизировать использование оперативной памяти на устройствах Apple. Это критически важно для запуска локальных LLM и других агентных моделей, требующих высокой производительности при ограниченных ресурсах.
Технология открывает возможности для более глубокой интеграции локальных моделей в экосистему Apple. Разработчики получили инструмент для тонкой настройки выполнения тензорных операций, что ранее было доступно только через закрытые API компании. ANEForge позволяет точнее контролировать распределение нагрузки между CPU, GPU и NPU, обеспечивая более эффективную работу ИИ-систем на пользовательских устройствах.