Hugging Face - Blog · 22.04.2026 ·Инференс и локальный запуск моделей

Запуск Transformers.js в Chrome-расширениях

Hugging Face выпустила руководство по интеграции Transformers.js в Chrome-расширениях. Это позволяет запускать модели трансформеров прямо в браузере без необходимости отправки данных на удалённые серверы. Такой подход особенно полезен для разработчиков, создающих ИИ-агентов, которые требуют локальной обработки информации с сохранением конфиденциальности пользователей.

Transformers.js — это библиотека, которая позволяет выполнять инференс моделей трансформеров в браузере. Она поддерживает множество моделей, включая те, которые оптимизированы для работы в клиентской среде. В статье на Hugging Face подробно описан процесс настройки и использования этой библиотеки в Chrome-расширениях.

Для разработчиков ИИ-агентов, таких как Jarv, возможность локального запуска моделей открывает новые горизонты. Это позволяет создавать более автономные и безопасные решения, которые могут работать даже в условиях ограниченного доступа к интернету. Кроме того, локальный инференс снижает задержки и повышает производительность, что критически важно для пользовательского опыта.

В статье также приведены примеры кода и рекомендации по оптимизации производительности. Это делает её полезным ресурсом для всех, кто хочет интегрировать ИИ в браузерные приложения. Для команды Jarv это может стать важным шагом в развитии локальных возможностей агента.

Источник: Hugging Face - Blog

Похожие материалы

Hugging Face - Blog · Инференс и железо Transformers переезжает на MLX для ускоренного инференса Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами. Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов. Hugging Face - Blog · Обработка документов и OCR PaddleOCR 3.5: интеграция с Transformers для обработки документов Команда PaddlePaddle выпустила обновлённую версию PaddleOCR 3.5, которая теперь поддерживает интеграцию с библиотекой Transformers от Hugging Face. Это позволяет использовать модели OCR (оптическое распознавание символов) в рамках экосистемы Transformers, что упрощает их интеграцию в сложные ИИ-агенты и системы обработки документов. Hugging Face - Blog · Оптимизация инференса Как асинхронность ускоряет обработку запросов в ИИ-агентах Исследователи из Hugging Face представили новый подход к обработке запросов в ИИ-моделях — асинхронный континуальный батчинг. Этот метод позволяет значительно ускорить обработку запросов, особенно в сценариях с высокой нагрузкой, что критически важно для ИИ-агентов, работающих в реальном времени. Hugging Face - Blog · Мультимодальные эмбеддинги для RAG Обучение мультимодальных моделей эмбеддингов и ранжирования Hugging Face выпустила гайд по обучению и тонкой настройке мультимодальных моделей эмбеддингов и ранжирования на базе Sentence Transformers. Это важно для разработчиков ИИ-агентов, так как мультимодальные эмбеддинги позволяют обрабатывать текстовые и визуальные данные в едином пространстве представлений, что критично для систем RAG (Retrieval-Augmented Generation). Hugging Face - Blog · Инференс и облачные сервисы DeepInfra интегрируется с Hugging Face для инференса моделей DeepInfra, облачный провайдер для запуска моделей ИИ, теперь доступен в экосистеме Hugging Face. Это интеграция позволяет разработчикам запускать модели из Hugging Face Hub на инфраструктуре DeepInfra с минимальными затратами на настройку. NVIDIA Technical Blog · Оркестрация и кастомизация ИИ-агентов Как кастомизировать ИИ-агентов для бизнеса NVIDIA опубликовала подробный гайд по созданию и настройке автономных ИИ-агентов для бизнес-задач. В статье рассматриваются ключевые техники, позволяющие адаптировать агентов под конкретные сценарии: от управления логистическими флотами до генерации кода и обработки поддержки. Особое внимание уделено архитектуре агентов, их взаимодействию с внешними системами и методам оптимизации производительности. The latest research from Google · Оптимизация моделей для ИИ-агентов Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. Hacker News · Инференс и оптимизация FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. NVIDIA Technical Blog · Инференс и железо Новые инструменты от Microsoft и NVIDIA для запуска ИИ-агентов на Windows Microsoft и NVIDIA представили новые инструменты, которые позволяют запускать ИИ-агентов на Windows ПК. Это важный шаг для разработчиков, так как ранее подобные решения требовали сложной настройки и мощного оборудования.

← Все материалы