Hugging Face - Blog · 15.04.2026 ·Инференс и железо

Transformers переезжает на MLX для ускоренного инференса

Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами.

MLX оптимизирован для работы с чипами M1, M2 и M3, что делает его идеальным решением для локального инференса. Transformers — одна из самых популярных библиотек для работы с языковыми моделями, и её интеграция с MLX значительно упростит разработку и развёртывание агентов на устройствах Apple.

В анонсе отмечается, что переход на MLX позволит значительно ускорить выполнение задач, таких как токенизация, генерация и обработка текста. Это особенно важно для ИИ-агентов, которым требуется быстрая обработка запросов и минимальная задержка при взаимодействии с пользователем.

Для команды Jarv это открывает новые возможности для создания более мощных и доступных решений. Локальный инференс на устройствах Apple может стать ключевым преимуществом, особенно в условиях роста популярности Apple Silicon и увеличения числа пользователей, предпочитающих работать с устройствами Apple.

Источник: Hugging Face - Blog

Похожие материалы

Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hugging Face - Blog · Инференс и локальный запуск моделей Запуск Transformers.js в Chrome-расширениях Hugging Face выпустила руководство по интеграции Transformers.js в Chrome-расширениях. Это позволяет запускать модели трансформеров прямо в браузере без необходимости отправки данных на удалённые серверы. Такой подход особенно полезен для разработчиков, создающих ИИ-агентов, которые требуют локальной обработки информации с сохранением конфиденциальности пользователей. GitHub · Локальный инференс и модели Apple открыла репозиторий с инструментами для локального ИИ Apple выпустила открытый репозиторий coreai-models на GitHub, который содержит рецепты экспорта моделей, Python-примитивы и утилиты для работы с ИИ на устройствах. Это значимый шаг, так как Apple активно продвигает локальные вычисления для ИИ, что особенно важно для разработчиков, работающих над автономными агентами. Hacker News · Инференс и оптимизация FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hugging Face - Blog · Обработка документов и OCR PaddleOCR 3.5: интеграция с Transformers для обработки документов Команда PaddlePaddle выпустила обновлённую версию PaddleOCR 3.5, которая теперь поддерживает интеграцию с библиотекой Transformers от Hugging Face. Это позволяет использовать модели OCR (оптическое распознавание символов) в рамках экосистемы Transformers, что упрощает их интеграцию в сложные ИИ-агенты и системы обработки документов. Lobsters · Инференс и железо ZML: фреймворк для локального запуска моделей ZML (Zero to Metal) — это фреймворк, который позволяет запускать большие языковые модели на локальных устройствах, включая ноутбуки и серверы. Он оптимизирован для работы с ограниченными ресурсами, что делает его полезным для разработчиков, которые хотят развернуть модели без облачных сервисов. Hugging Face - Blog · Оптимизация инференса Оптимизация MLP в PyTorch для ускорения инференса В новом посте на Hugging Face продолжается серия о профилировании и оптимизации PyTorch, на этот раз с акцентом на слияние слоёв в многослойных перцептронах (MLP). Авторы делятся подходами к ускорению вычислений, которые могут быть критичны для локального инференса моделей, особенно в условиях ограниченных ресурсов. Hacker News · Инференс и локальный запуск моделей Индексация 669 ГБ видео с помощью локальных моделей на M1 Max Автор проекта успешно индексировал 669 ГБ видео с GoPro камер с использованием локальных ML-моделей на компьютере с процессором M1 Max. Это демонстрирует возможность обработки больших объемов данных без использования облачных сервисов, что может быть полезно для разработки ИИ-агентов, работающих с мультимедийными данными. Lobsters · Оптимизация инференса RadixAttention в Trellis ускоряет работу моделей на 30% Команда UnfoldML представила RadixAttention — новую архитектуру внимания для ускорения работы трансформеров. Внедрённая в Trellis, она позволяет сократить время инференса на 30% без потери точности. Это особенно важно для ИИ-агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hacker News · Исследования и модели Apple представила Foundation Models для разработчиков Apple анонсировала Apple Foundation Models — набор моделей машинного обучения, доступных для разработчиков. Эти модели предназначены для интеграции в приложения и сервисы, что может значительно расширить возможности разработчиков, работающих с ИИ.

← Все материалы