GitHub · 08.06.2026 ·Локальный инференс и модели

Apple открыла репозиторий с инструментами для локального ИИ

Apple выпустила открытый репозиторий coreai-models на GitHub, который содержит рецепты экспорта моделей, Python-примитивы и утилиты для работы с ИИ на устройствах. Это значимый шаг, так как Apple активно продвигает локальные вычисления для ИИ, что особенно важно для разработчиков, работающих над автономными агентами.

Репозиторий включает в себя инструменты для экспорта моделей в форматы, совместимые с устройствами Apple, а также Python-библиотеки для работы с этими моделями. Это позволяет разработчикам интегрировать ИИ-возможности в приложения, которые будут работать на iPhone, iPad и других устройствах Apple без необходимости облачных вычислений.

Для команды, работающей над ИИ-агентом Jarv, это важно, потому что локальный инференс моделей позволяет снизить задержки и повысить безопасность данных. Использование инструментов Apple может значительно упростить процесс разработки и развертывания агентов, которые будут работать на устройствах пользователей без необходимости передачи данных в облако.

В репозитории также представлены утилиты для работы с моделями на Swift, что делает его полезным для разработчиков, которые хотят интегрировать ИИ в приложения на платформе Apple. Это открывает новые возможности для создания автономных ИИ-агентов, которые могут работать в офлайн-режиме и обеспечивать высокий уровень конфиденциальности.

Источник: GitHub

Похожие материалы

Hacker News · Исследования и модели Apple представила Foundation Models для разработчиков Apple анонсировала Apple Foundation Models — набор моделей машинного обучения, доступных для разработчиков. Эти модели предназначены для интеграции в приложения и сервисы, что может значительно расширить возможности разработчиков, работающих с ИИ. Hacker News · Развитие foundation models Apple представила третье поколение foundation models Apple анонсировала третье поколение своих foundation models, которые стали более мощными и универсальными. Новые модели демонстрируют улучшенные возможности в обработке естественного языка, компьютерном зрении и других задачах машинного обучения. Это важный шаг для компании, которая активно развивает свои ИИ-капabilities, особенно в контексте интеграции с устройствами и сервисами Apple. Hacker News · Локальный запуск моделей Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Simon Willison's Weblog · Новые модели ИИ от Microsoft Microsoft представил две новые модели ИИ MAI-Thinking-1 и MAI-Code-1-Flash Microsoft объявил о выпуске двух новых текстовых моделей ИИ: MAI-Thinking-1 и MAI-Code-1-Flash. MAI-Thinking-1 — это модель для рассуждений с 1 триллионом параметров, из которых 35 миллиардов активны. Она доступна для "выбранных ранних партнеров". MAI-Code-1-Flash, с 137 миллиардами параметров и 5 миллиардами активных, специально разработана для GitHub Copilot и VS Code, чтобы обеспечить высокую производительность и низкую стоимость. Эта модель уже начинает выкатываться для индивидуальных пользователей GitHub Copilot в Visual Studio Code. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. Hugging Face - Blog · Локальный инференс и железо Reachy Mini: локальный ИИ-агент с открытым исходным кодом Компания Pollen Robotics представила Reachy Mini — локальный ИИ-агент с открытым исходным кодом, который может работать на обычном ноутбуке. Это важный шаг в развитии локальных решений для ИИ-агентов, так как многие современные системы требуют мощных серверов или облачных вычислений. Hacker News · Инфраструктура для ИИ-агентов CoreAI_HTCE: фреймворк для создания ИИ-агентов с поддержкой памяти и RAG Разработчики из команды CoreAI представили фреймворк CoreAI_HTCE, предназначенный для создания ИИ-агентов с расширенными возможностями. Основное преимущество проекта — поддержка механизмов памяти и RAG (Retrieval-Augmented Generation), что позволяет агентам эффективно работать с контекстом и хранить информацию для последующего использования. Hacker News · Локальные ИИ-экосистемы Airis: локальная ИИ-экосистема с автономным управлением ПК Airis — это проект, который представляет собой локальную ИИ-экосистему, работающую без установки и обеспечивающую автономное управление персональным компьютером. Это решение может быть полезным для разработчиков ИИ-агентов, так как оно предоставляет возможность интеграции различных ИИ-моделей и инструментов в единую экосистему, работающую на локальном уровне. Hacker News · Инференс и локальный запуск Корпоративные ИИ-агенты уходят с серверов Компании всё чаще переходят на локальный запуск ИИ-агентов, отказываясь от облачных серверов. Это связано с ростом требований к безопасности, конфиденциальности и контролю над данными. Локальные решения позволяют избежать утечек и снизить зависимость от третьих сторон, что особенно важно для корпоративных клиентов. Hacker News · Инференс и локальный запуск моделей Snapcompact: компактный инференс моделей локально и бесплатно Команда Can.AI представила Snapcompact — новый подход к компактификации моделей, который позволяет запускать большие языковые модели локально с минимальными затратами ресурсов. Snapcompact использует инновационные методы компрессии, которые сохраняют точность моделей при значительном уменьшении их размера. Это особенно важно для разработчиков ИИ-агентов, так как позволяет развертывать сложные модели на устройствах с ограниченными ресурсами, включая ноутбуки и мобильные устройства.

← Все материалы