Google DeepMind опубликовала результаты исследования «From Feet to Fingertips», в рамках которого была разработана универсальная нейросетевая политика для управления роботами. Система позволяет одной модели контролировать как передвижение на ногах, так и манипуляцию объектами с помощью пальцев рук, преодолевая традиционное разделение задач в робототехнике на локомоцию и захват.
Разработка базируется на архитектуре Gemini и использует мультимодальное обучение для обработки сенсорных данных в реальном времени. Вместо создания отдельных алгоритмов для ходьбы и взаимодействия с предметами, исследователи обучили единую «политику», способную адаптироваться к различным физическим воплощениям роботов. Это упрощает процесс обучения, позволяя переносить навыки между разными типами аппаратного обеспечения.
Технология демонстрирует высокую эффективность в задачах, требующих координации всего тела. Роботы, использующие данную модель, способны выполнять сложные последовательности действий, такие как перемещение в пространстве с последующим захватом и удержанием объектов, сохраняя при этом баланс. Исследование подчеркивает потенциал больших моделей в создании универсальных контроллеров для автономных систем.
Ключевые факты
- Модель объединяет управление локомоцией (передвижением) и манипуляцией (захватом) в рамках одной политики.
- В основе системы лежит архитектура Gemini, адаптированная для обработки высокочастотных сенсомоторных данных.
- Разработка позволяет сократить количество специализированных алгоритмов, необходимых для выполнения комплексных задач.
- Система успешно протестирована на различных конфигурациях робототехнических платформ, демонстрируя универсальность подхода.