Инженеры из команды Harmansingh4163-ai представили проект, в котором удалось развернуть модель с 42 миллионами параметров на четыре микроконтроллера ESP-32-S3. Это достижение демонстрирует, что даже на ограниченных ресурсах можно выполнять инференс относительно крупных моделей, что открывает новые возможности для разработки ИИ-агентов в условиях жестких аппаратных ограничений.

Проект использует параллелизм конвейера (pipeline parallelism), где модель разбивается на части и распределяется между микроконтроллерами. Это позволяет эффективно использовать вычислительные ресурсы и снизить задержки при обработке запросов. Такие решения могут быть полезны для создания автономных ИИ-агентов, работающих на устройствах с ограниченной мощностью.

Для разработчиков ИИ-агентов, таких как Jarv, этот проект показывает, что даже на микроконтроллерах можно развернуть модели достаточного размера для выполнения сложных задач. Это открывает перспективы для создания распределенных систем, где инференс может выполняться на нескольких устройствах одновременно, что повышает надежность и масштабируемость.

Код проекта доступен на GitHub, что позволяет другим исследователям и разработчикам изучать и адаптировать этот подход для своих нужд. Это важный шаг в направлении демократизации ИИ и его интеграции в устройства с ограниченными ресурсами.