Google выпустила LiteRT.js — библиотеку для запуска моделей машинного обучения непосредственно в веб-браузере. Инструмент обеспечивает высокую производительность за счет использования аппаратного ускорения через WebGL и WebGPU. Решение позволяет разработчикам интегрировать сложные ИИ-функции в веб-приложения, минимизируя задержки и снижая нагрузку на серверную инфраструктуру при выполнении инференса на стороне клиента.
Библиотека является частью экосистемы LiteRT (ранее известной как TensorFlow Lite) и ориентирована на создание легковесных, но эффективных моделей для веба. Использование WebGPU позволяет библиотеке задействовать современные графические процессоры, что значительно ускоряет выполнение тензорных вычислений по сравнению с традиционными методами обработки в браузере. Это открывает возможности для работы с компьютерным зрением, обработкой естественного языка и другими задачами ИИ в реальном времени без необходимости передачи данных на удаленные серверы.
Переход на LiteRT.js упрощает процесс развертывания моделей, так как библиотека поддерживает широкий спектр форматов и оптимизаций, накопленных в экосистеме Google. Разработчики могут использовать готовые модели или конвертировать собственные наработки для запуска в браузере, обеспечивая при этом конфиденциальность пользовательских данных, так как вся обработка происходит локально на устройстве пользователя.
Ключевые факты
- LiteRT.js использует WebGPU и WebGL для аппаратного ускорения инференса моделей в браузере.
- Библиотека является преемником инструментов TensorFlow Lite для веб-среды, обеспечивая обратную совместимость с форматами моделей.
- Инструментарий позволяет выполнять вычисления локально, что исключает необходимость отправки данных на сервер и снижает задержки.
- Решение оптимизировано для работы с современными графическими API, обеспечивая высокую скорость обработки тензоров на клиентских устройствах.