Hacker News · 20.06.2026 ·Инфраструктура для агентов

Вышел Transformers.js 4.0: запуск моделей прямо в браузере

Библиотека Transformers.js обновилась до версии 4.0, открывая новые возможности для запуска нейросетевых моделей непосредственно в браузере и средах Node.js. Основной акцент в релизе сделан на расширении поддержки архитектур и оптимизации производительности при работе с клиентскими вычислительными мощностями. Теперь разработчики могут интегрировать сложные ИИ-функции в веб-приложения без необходимости отправки данных на сервер, что критически важно для приватности и снижения задержек.

Ключевым нововведением стала улучшенная поддержка моделей, использующих формат ONNX Runtime, что обеспечивает ускорение инференса на различных аппаратных платформах. Обновление включает расширенный набор инструментов для работы с трансформерами, включая поддержку новых типов слоев и методов квантования, позволяющих запускать более тяжелые модели на устройствах с ограниченными ресурсами. Инструментарий стал более гибким в плане управления памятью, что упрощает создание сложных агентных систем, работающих локально.

Версия 4.0 также упрощает процесс конвертации и загрузки моделей из репозитория Hugging Face, делая экосистему более доступной для фронтенд-разработчиков. Благодаря унификации API, переход на новую версию позволяет использовать современные методы оптимизации без существенного изменения существующей кодовой базы. Это обновление укрепляет позиции инструментов для локального инференса, предоставляя надежную инфраструктуру для развертывания ИИ-решений вне облачных сред.

Источник: Hacker News

Похожие материалы

Hugging Face - Blog · Машинное обучение Запуск Transformers.js в Chrome-расширениях Hugging Face выпустила руководство по интеграции Transformers.js в Chrome-расширениях. Это позволяет запускать модели трансформеров прямо в браузере без необходимости отправки данных на удалённые серверы. Такой подход особенно полезен для разработчиков, создающих ИИ-агентов, которые требуют локальной обработки информации с сохранением конфиденциальности пользователей. Hacker News · Инференс и железо FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hugging Face - Blog · Инференс и железо Transformers переезжает на MLX для ускоренного инференса Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами. Hacker News · Инфраструктура для агентов Реализация библиотеки transformers на языке Rust Разработчики представили масштабный проект по переносу функциональности популярной библиотеки transformers на язык программирования Rust. Кодовая база проекта насчитывает около миллиона строк, что делает его одной из самых амбициозных попыток переписать стек машинного обучения для обеспечения высокой производительности и безопасности памяти. NVIDIA Technical Blog · Инференс и железо Квантование моделей для ускоренного инференса на NVIDIA TensorRT NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль. Hugging Face - Blog · Память и RAG PaddleOCR 3.5: интеграция с Transformers для обработки документов Команда PaddlePaddle выпустила обновлённую версию PaddleOCR 3.5, которая теперь поддерживает интеграцию с библиотекой Transformers от Hugging Face. Это позволяет использовать модели OCR (оптическое распознавание символов) в рамках экосистемы Transformers, что упрощает их интеграцию в сложные ИИ-агенты и системы обработки документов. Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов. Together.ai · Машинное обучение Together AI представила FlashAttention-4 и ThunderAgent На конференции AI Native Conf компания Together AI анонсировала несколько ключевых разработок в области инференса и оптимизации моделей. Среди них — FlashAttention-4, ускоряющая вычисления внимания, и ThunderAgent, платформа для развертывания агентов. Hacker News · Инференс и железо Оптимизация инференса моделей через формат NVFP4 Компания Cohere представила обновленную версию своей модели North Mini Code, оптимизированную для работы с использованием нового формата данных NVFP4. Технология позволяет значительно повысить производительность инференса при сохранении исходного качества генерации кода. Использование этого формата обеспечивает ускорение вычислений в 1,65 раза по сравнению со стандартным форматом FP8, при этом потребление видеопамяти снижается на 40%. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации.

← Все материалы