Проект LLMlet позволяет выполнять инференс больших языковых моделей в браузере, используя возможности P2P-сети для распределения вычислительной нагрузки между несколькими узлами. Технология объединяет ресурсы клиентских устройств, позволяя запускать модели, которые не помещаются в память одного браузера, обеспечивая децентрализованный подход к выполнению нейросетевых задач без необходимости в мощных серверных GPU.
Решение базируется на использовании WebGPU для ускорения вычислений и WebRTC для организации обмена данными между участниками сети. Такой подход минимизирует задержки при передаче весов модели и промежуточных активаций, позволяя пользователям совместно обрабатывать запросы. Это открывает возможности для создания легковесных, масштабируемых систем инференса, работающих в клиентской среде без централизованной инфраструктуры.
Архитектура системы ориентирована на снижение порога входа для запуска локальных моделей. Распределяя слои нейросети по разным браузерам, LLMlet позволяет эффективно использовать совокупную видеопамять нескольких устройств. Это решение особенно актуально для задач, где важна приватность данных и отсутствие зависимости от облачных провайдеров, так как вся обработка происходит на стороне клиента.
Ключевые факты
- LLMlet использует WebGPU для аппаратного ускорения вычислений непосредственно в браузере.
- Обмен данными между узлами сети реализован через протокол WebRTC.
- Система поддерживает распределение слоев модели между несколькими участниками для преодоления ограничений VRAM.
- Проект доступен в формате open-source на платформе GitHub.
- Технология исключает необходимость в централизованном сервере для выполнения инференса.