MarkTechPost · 15.07.2026 ·Инференс и железо

Google представила LiteRT.js для запуска ИИ-моделей в браузере через WebGPU

Google представила LiteRT.js для запуска ИИ-моделей в браузере через WebGPU

Google выпустила LiteRT.js — JavaScript-библиотеку для исполнения моделей формата .tflite непосредственно в браузере. Инструмент использует возможности WebGPU, WebAssembly и WebNN для ускорения инференса на стороне клиента. Решение позволяет разработчикам запускать нейросети на CPU, GPU и NPU, обеспечивая кратный прирост производительности по сравнению с предыдущими веб-интерфейсами и стандартными CPU-вычислениями.

Библиотека является частью экосистемы LiteRT, ориентированной на эффективный запуск моделей на устройствах (on-device). Использование WebGPU позволяет перенести тяжелые вычисления с центрального процессора на графический, что критически важно для работы современных моделей в веб-среде. Поддержка WebNN в экспериментальном режиме открывает доступ к аппаратным ускорителям нейронных сетей (NPU), что дополнительно снижает задержки и энергопотребление при выполнении задач машинного обучения.

Технология ориентирована на создание высокопроизводительных веб-приложений, требующих локальной обработки данных без отправки запросов на сервер. Это снижает затраты на облачную инфраструктуру и повышает конфиденциальность пользовательской информации, так как все вычисления происходят внутри браузера.

Ключевые факты

Релиз LiteRT.js состоялся 9 июля 2026 года.
Производительность на GPU и NPU выше CPU-пути в 5–60 раз.
Общий прирост скорости работы по сравнению с другими веб-рантаймами достигает 3 раз.
Поддерживаются бэкенды XNNPACK для CPU, WebGPU для графических ускорителей и WebNN для NPU.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Google представила LiteRT.js для высокопроизводительного инференса ИИ в браузере Google выпустила LiteRT.js — библиотеку для запуска моделей машинного обучения непосредственно в веб-браузере. Инструмент обеспечивает высокую производительность за счет использования аппаратного ускорения через WebGL и WebGPU. Решение позволяет разработчикам интегрировать сложные ИИ-функции в веб-приложения, минимизируя задержки и снижая нагрузку на серверную инфраструктуру при выполнении инференса на стороне клиента. Hacker News · Инференс и железо Запуск 1.7B LLM в браузере с помощью 1-битного WebGPU-рантайма Разработчик представил легковесный рантайм на базе WebGPU, позволяющий запускать языковые модели с параметрами 1.7B непосредственно в браузере. Решение использует 1-битное квантование, что радикально снижает требования к оперативной памяти и вычислительным ресурсам. Это открывает возможности для работы полноценных локальных ИИ-агентов на клиентских устройствах без необходимости обращения к облачным серверам. Hacker News · Инференс и железо Запуск мультимодальной модели LFM-2.0 через WebGPU в браузере Liquid AI представила реализацию мультимодальной модели LFM-2.0, работающую полностью в браузере через технологию WebGPU. Решение позволяет выполнять инференс нейросети на стороне клиента без необходимости обращения к серверным мощностям. Это открывает возможности для создания легковесных агентных интерфейсов и интерактивных приложений, требующих обработки изображений и текста непосредственно на устройстве пользователя с минимальной задержкой. Hacker News · Инференс и железо Запуск модели Qwen 3.5 прямо в браузере через WebGPU Сообщество webml представило реализацию модели Qwen 3.5, работающую непосредственно в браузере с использованием технологии WebGPU. Это решение позволяет выполнять инференс нейросети на стороне клиента без необходимости отправки данных на сервер или установки тяжелого локального ПО. Технология обеспечивает высокую скорость генерации текста, используя вычислительные мощности видеокарты пользователя через стандартный веб-интерфейс. Hacker News · Инференс и железо LLMlet: распределенный P2P-инференс LLM прямо в браузере Проект LLMlet позволяет выполнять инференс больших языковых моделей в браузере, используя возможности P2P-сети для распределения вычислительной нагрузки между несколькими узлами. Технология объединяет ресурсы клиентских устройств, позволяя запускать модели, которые не помещаются в память одного браузера, обеспечивая децентрализованный подход к выполнению нейросетевых задач без необходимости в мощных серверных GPU. Hacker News · Инференс и железо Запуск модели Gemma 2 2B в браузере с высокой скоростью генерации Разработчики представили реализацию модели Gemma 2 2B, оптимизированную для работы непосредственно в браузере через WebGPU. Использование специализированных ядер позволило достичь скорости генерации текста на уровне 255 токенов в секунду. Это решение демонстрирует возможности локального исполнения нейросетей на клиентских устройствах без необходимости обращения к облачным серверам. Hacker News · Инфраструктура для агентов Ludion: маршрутизация ИИ-инференса на основе производительности WebGPU Ludion представляет собой инструмент для оптимизации инференса моделей, который динамически маршрутизирует запросы на основе реальных показателей производительности WebGPU в браузере. Система анализирует поведение графического ускорителя в конкретной среде пользователя, чтобы подбирать наиболее эффективные параметры запуска моделей, минимизируя задержки и повышая стабильность работы нейросетей непосредственно на клиентских устройствах без обращения к серверу. Hacker News · Инференс и железо BareMetalRT позволяет запускать TensorRT-LLM на Windows без WSL Проект BareMetalRT обеспечивает нативную поддержку TensorRT-LLM в среде Windows, исключая необходимость использования подсистемы WSL. Решение позволяет напрямую задействовать вычислительные мощности GPU для инференса больших языковых моделей, обеспечивая высокую производительность и минимальные задержки при работе с локальными LLM в Windows-окружении, что упрощает развертывание высокопроизводительных агентных систем на пользовательских рабочих станциях. Hacker News · Инфраструктура для агентов Вышел Transformers.js 4.0: запуск моделей прямо в браузере Библиотека Transformers.js обновилась до версии 4.0, открывая новые возможности для запуска нейросетевых моделей непосредственно в браузере и средах Node.js. Основной акцент в релизе сделан на расширении поддержки архитектур и оптимизации производительности при работе с клиентскими вычислительными мощностями. Теперь разработчики могут интегрировать сложные ИИ-функции в веб-приложения без необходимости отправки данных на сервер, что критически важно для приватности и снижения задержек. Hacker News · Машинное обучение Реализация нейронных клеточных автоматов на WebGPU Нейронные клеточные автоматы (NCA) представляют собой вычислительную модель, где локальные правила взаимодействия между соседними ячейками сетки приводят к возникновению сложных глобальных паттернов и самоорганизующихся структур. В отличие от классических клеточных автоматов, правила в NCA определяются нейронной сетью, что позволяет системе обучаться выполнению конкретных задач, таких как генерация изображений, морфогенез или восстановление поврежденных данных.

← Все материалы