Hacker News · 17.06.2026 ·Инференс и железо

Новый движок инференса для macOS 14 и новее

Разработчики представили новый движок инференса для macOS 14 и новее. Проект под названием Embershard оптимизирован для работы с моделями машинного обучения на устройствах Apple. Он поддерживает локальный запуск моделей, что позволяет пользователям использовать мощные ИИ-инструменты без необходимости подключения к облачным сервисам.

Embershard использует возможности Apple Silicon для ускорения вычислений. Это делает его особенно полезным для разработчиков, которые хотят развертывать модели на устройствах Mac с минимальными затратами на инфраструктуру. Движок поддерживает различные форматы моделей, что расширяет его функциональность и делает его универсальным инструментом для работы с ИИ.

Проект доступен на GitHub, где разработчики активно работают над его улучшением. В будущем планируется добавить поддержку дополнительных форматов моделей и улучшить производительность. Embershard может стать важным инструментом для разработчиков, которые хотят использовать возможности ИИ на устройствах Apple.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо ANEForge: прямой доступ к Apple Neural Engine через Python Исследователи представили ANEForge — программный стек, позволяющий выполнять вычисления непосредственно на Apple Neural Engine (ANE), минуя стандартные высокоуровневые фреймворки. Инструмент предоставляет интерфейс на языке Python, который транслирует операции в низкоуровневые инструкции, понятные нейронному процессору в чипах Apple Silicon. GitHub · Инференс и железо Apple открыла репозиторий с инструментами для локального ИИ Apple выпустила открытый репозиторий coreai-models на GitHub, который содержит рецепты экспорта моделей, Python-примитивы и утилиты для работы с ИИ на устройствах. Это значимый шаг, так как Apple активно продвигает локальные вычисления для ИИ, что особенно важно для разработчиков, работающих над автономными агентами. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hacker News · Исследования и наука Apple представила Foundation Models для разработчиков Apple анонсировала Apple Foundation Models — набор моделей машинного обучения, доступных для разработчиков. Эти модели предназначены для интеграции в приложения и сервисы, что может значительно расширить возможности разработчиков, работающих с ИИ. Hugging Face - Blog · Инференс и железо Transformers переезжает на MLX для ускоренного инференса Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами. Hacker News · Инференс и железо AMD оптимизирует инференс для своих GPU Instinct AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса. Hacker News · Инференс и железо Как использовать внешний GPU Nvidia с Mac для локального запуска ИИ В 2026 году владельцы Mac смогут использовать внешние графические процессоры Nvidia для локального запуска моделей искусственного интеллекта. Это решение особенно актуально для разработчиков, которым требуется высокая вычислительная мощность, но у которых нет доступа к специализированным серверам. Hacker News · Модели и релизы Apple представила третье поколение foundation models Apple анонсировала третье поколение своих foundation models, которые стали более мощными и универсальными. Новые модели демонстрируют улучшенные возможности в обработке естественного языка, компьютерном зрении и других задачах машинного обучения. Это важный шаг для компании, которая активно развивает свои ИИ-капabilities, особенно в контексте интеграции с устройствами и сервисами Apple. Hacker News · Инференс и железо AMD оптимизировала вычисления для ИИ-моделей на CDNA4 Компания AMD представила оптимизации для вычислений матричных операций (GEMM) в формате FP8 на архитектуре CDNA4. Это позволит ускорить работу ИИ-моделей на графических процессорах Instinct серии MI300X. Hacker News · Инференс и железо AMD Ryzen AI Halo для разработчиков ИИ AMD представила Ryzen AI Halo — программу для разработчиков ИИ, которая включает доступ к новейшим процессорам с интегрированными нейросетевыми ускорителями. Это решение может значительно ускорить инференс моделей, что особенно важно для локального запуска ИИ-агентов.

← Все материалы