Goku — это новый инструмент для локального запуска и управления языковыми моделями непосредственно в браузере. Проект использует технологию WebAssembly и библиотеку wllama для обеспечения инференса без необходимости настройки серверной инфраструктуры. Решение позволяет пользователям загружать, хранить и запускать модели прямо на клиентской стороне, обеспечивая приватность данных и независимость от внешних API.
Архитектура Goku ориентирована на максимальную портативность, используя возможности WASM для выполнения вычислений на стороне пользователя. Это позволяет интегрировать полноценные возможности LLM в веб-приложения, минимизируя задержки при передаче запросов и снижая затраты на облачные вычисления. Инструмент предоставляет интерфейс для управления весами моделей, что упрощает их переключение и локальное хранение в браузере.
Использование WebAssembly в данном контексте открывает возможности для создания автономных агентных систем, работающих в изолированной среде браузера. Это особенно актуально для задач, требующих обработки конфиденциальной информации, которая не должна покидать устройство пользователя. Проект демонстрирует развитие тренда на перенос тяжелых вычислительных нагрузок с серверов на клиентские устройства.
Ключевые факты
- Goku использует библиотеку wllama для реализации инференса моделей в среде WebAssembly.
- Инструмент обеспечивает полную локальную работу моделей без отправки данных на внешние серверы.
- Встроенный менеджер моделей позволяет пользователям загружать и переключаться между различными весами прямо в интерфейсе браузера.
- Проект ориентирован на разработчиков, создающих веб-приложения с поддержкой локального ИИ-инференса.