Nvidia представила новую модель мира с 4 миллиардами параметров, предназначенную для обучения роботов в условиях физической реальности. Разработка позволяет системе предсказывать динамику окружающей среды и поведение объектов, что критически важно для автономной навигации и манипуляций. Это значимый шаг в развитии embodied AI, где ИИ-агенты получают способность взаимодействовать с физическим миром на основе глубокого понимания законов физики.

Модель обучалась на обширных наборах данных, включающих видеозаписи реальных взаимодействий и симуляции. Основная задача системы — минимизировать разрыв между виртуальным обучением и реальным применением (Sim-to-Real). Благодаря компактному размеру в 4 миллиарда параметров, модель демонстрирует высокую эффективность при инференсе, что позволяет запускать её непосредственно на бортовом оборудовании роботов с ограниченными вычислительными ресурсами.

Интеграция подобных моделей в робототехнику меняет подход к программированию движений. Вместо жестко заданных алгоритмов роботы получают возможность «проигрывать» сценарии в своем внутреннем представлении мира перед совершением физического действия. Это снижает количество ошибок при выполнении сложных задач в непредсказуемой среде, таких как склады или производственные цеха.

Ключевые факты

  • Модель содержит 4 миллиарда параметров, оптимизированных для работы на периферийных устройствах.
  • Основная архитектура направлена на предсказание физических последствий действий робота в реальном времени.
  • Разработка сфокусирована на решении проблемы Sim-to-Real, позволяя переносить навыки из симуляции в физический мир.
  • Модель является частью широкой стратегии Nvidia по развитию «физического ИИ» (Physical AI) для автономных систем.