Компания Mistral AI выпустила Robostral Navigate — специализированную модель с 8 миллиардами параметров, предназначенную для автономной навигации роботов. Система достигает 76,6% точности в бенчмарке R2R-CE, используя данные только с одной RGB-камеры. Решение исключает необходимость в дорогостоящих лидарах или массивах датчиков глубины, упрощая аппаратную архитектуру для мобильных робототехнических платформ.
Модель обучалась на задачах навигации по естественным языковым инструкциям в сложных визуальных средах. Архитектура Robostral Navigate оптимизирована для обработки видеопотока в реальном времени, что позволяет роботу интерпретировать команды человека и соотносить их с визуальными ориентирами в пространстве. Использование единственного оптического сенсора значительно снижает требования к вычислительным мощностям на борту устройства.
Разработка направлена на повышение доступности автономных систем, способных ориентироваться в помещениях без предварительно созданных карт или сложной сенсорной инфраструктуры. Модель демонстрирует эффективность подхода, при котором визуальное восприятие и планирование действий объединяются в едином нейросетевом контуре, что является важным шагом для развития сервисной робототехники.
Ключевые факты
- Модель Robostral Navigate содержит 8 миллиардов параметров.
- Показатель точности в бенчмарке R2R-CE (Room-to-Room Continuous Evaluation) составляет 76,6%.
- Для работы системы требуется только одна RGB-камера, без использования лидаров и датчиков глубины.
- Технология ориентирована на автономную навигацию роботов по текстовым инструкциям в режиме реального времени.