Проект OpenClaw выпустил мобильные приложения для iOS и Android, которые превращают смартфоны в периферийные узлы для локально развернутых ИИ-агентов. В отличие от автономных чат-ботов, эти приложения работают как связующее звено, передавая данные с датчиков устройства — камеры, микрофона и GPS — на центральный шлюз через WebSocket, расширяя сенсорные возможности агентных систем.
Архитектура решения ориентирована на концепцию «local-first», где управление данными и логика обработки остаются под контролем пользователя. Мобильное устройство выступает в роли «тела» агента, обеспечивая доступ к аппаратному обеспечению в реальном времени. Это позволяет агентам, работающим на сервере, взаимодействовать с физическим миром через интерфейс смартфона, используя его как инструмент для сбора контекста и выполнения команд.
Интеграция через WebSocket позволяет минимизировать задержки при передаче потоковых данных, что критично для сценариев, требующих оперативной реакции ИИ. Разработчики получают возможность использовать нативные функции мобильных ОС, такие как Canvas для визуализации или геолокацию, для построения более сложных автономных систем, не прибегая к облачным API сторонних сервисов.
Ключевые факты
- Приложения для iOS и Android работают как узлы-компаньоны, а не как самостоятельные чат-боты.
- Связь между мобильным устройством и сервером осуществляется через протокол WebSocket.
- Система предоставляет ИИ-агентам доступ к камере, микрофону, данным о местоположении и графическому интерфейсу Canvas.
- Архитектура поддерживает локальное развертывание шлюза, обеспечивая приватность и контроль над данными.
- Решение ориентировано на расширение сенсорных возможностей локальных ИИ-агентов за счет аппаратных ресурсов смартфона.