Разработчик представил легковесный рантайм на базе WebGPU, позволяющий запускать языковые модели с параметрами 1.7B непосредственно в браузере. Решение использует 1-битное квантование, что радикально снижает требования к оперативной памяти и вычислительным ресурсам. Это открывает возможности для работы полноценных локальных ИИ-агентов на клиентских устройствах без необходимости обращения к облачным серверам.
Технология опирается на возможности WebGPU — современного API, обеспечивающего высокопроизводительные вычисления на графическом процессоре прямо из веб-интерфейса. Переход к 1-битным весам позволяет упаковать модель в минимальный объем данных, сохраняя при этом приемлемое качество генерации текста. Такой подход критически важен для создания приватных и быстрых агентных систем, работающих в режиме офлайн.
Использование браузера в качестве среды исполнения снимает барьеры для развертывания ИИ-инструментов, так как пользователю не требуется устанавливать дополнительное ПО или настраивать сложные окружения. Инструмент ориентирован на разработчиков, стремящихся минимизировать задержки при инференсе и снизить затраты на инфраструктуру за счет переноса нагрузки на сторону клиента.
Ключевые факты
- Рантайм использует WebGPU для ускорения вычислений непосредственно в браузере.
- Реализована поддержка 1-битного квантования для моделей объемом 1.7 миллиарда параметров.
- Технология позволяет запускать LLM локально без необходимости отправки данных на сервер.
- Решение оптимизировано для работы в современных веб-браузерах с поддержкой графических API.