Компания Mistral AI выпустила Robostral Navigate — специализированную модель с 8 миллиардами параметров, предназначенную для автономной навигации роботов. Система позволяет устройствам перемещаться в сложных пространствах, опираясь исключительно на данные с одной RGB-камеры и текстовые инструкции. Решение исключает необходимость использования дорогостоящих LiDAR-сенсоров или датчиков глубины, значительно упрощая аппаратную архитектуру мобильных робототехнических систем.

Технологический стек модели включает метод указания (pointing method), оптимизацию через префиксное кэширование при обучении и алгоритм онлайн-обучения с подкреплением CISPO. Такой подход позволил достичь высокой точности выполнения задач в условиях, с которыми робот ранее не сталкивался. Использование стандартных RGB-камер делает технологию более доступной для широкого спектра коммерческих и промышленных применений, где критически важна стоимость оборудования.

Разработка демонстрирует значительный прогресс в области embodied AI, где нейросетевые модели обучаются взаимодействовать с физическим миром. Благодаря компактному размеру в 8 миллиардов параметров, модель может быть развернута на бортовых вычислителях роботов, обеспечивая низкую задержку при обработке визуальных данных и принятии решений в реальном времени.

Ключевые факты

  • Размер модели составляет 8 миллиардов параметров.
  • Успешность навигации на валидационном наборе R2R-CE (unseen) достигла 76,6%.
  • Система работает на базе одной RGB-камеры, не требуя LiDAR или датчиков глубины.
  • В обучении использованы методы префиксного кэширования и онлайн-обучение с подкреплением CISPO.