Исследователи представили архитектурный подход к созданию универсального программного стека для робототехники, объединяющий обучение с подкреплением и большие языковые модели. Система позволяет роботам интерпретировать естественный язык и переносить навыки из виртуальных симуляций в реальный мир, решая проблему фрагментации управления и адаптивности манипуляторов в неструктурированных средах, что является ключевым шагом к созданию автономных агентов общего назначения.
Современные подходы к embodied AI (воплощенному ИИ) сталкиваются с барьером между высокоуровневым планированием и низкоуровневым управлением приводами. Новый стек предлагает унифицированный интерфейс, где модель-агент преобразует текстовые команды в последовательности действий, используя промежуточные представления пространства состояний. Это снижает зависимость от специфических для каждой задачи алгоритмов и позволяет масштабировать обучение на больших наборах данных.
Технология опирается на использование симуляторов с высокой степенью физической достоверности для предварительного обучения нейросетей. Такой подход минимизирует риск повреждения оборудования при отладке и позволяет ускорить итерации обучения в тысячи раз по сравнению с классическими методами. Интеграция визуальных трансформеров позволяет роботам лучше распознавать объекты и контекст сцены, что критически важно для работы в динамических условиях.
Ключевые факты
- Архитектура использует иерархический подход, разделяющий когнитивное планирование и моторное исполнение.
- Система поддерживает перенос навыков (sim-to-real) без необходимости переобучения под каждую конкретную задачу.
- В основе стека лежат визуально-языковые модели, адаптированные для обработки сенсорных данных в реальном времени.
- Разработка направлена на преодоление ограничений узкоспециализированных роботов, работающих только в контролируемых условиях.