Исследователи представили GROW$^2$ — фреймворк для обучения роботов поиску и использованию объектов в качестве инструментов для задач, выходящих за рамки их прямого назначения. Система решает проблему «заземления аффордансов» в открытом мире, позволяя роботу самостоятельно определять подходящий предмет, например, использовать тарелку для нарезки торта при отсутствии ножа, и точно локализовать область взаимодействия с объектом.
Ключевая сложность в робототехнике заключается в жесткой привязке объектов к их стандартным функциям. GROW$^2$ преодолевает этот барьер, объединяя семантическое понимание объектов с пространственной локализацией. Модель анализирует сцену, чтобы найти предмет, обладающий необходимыми физическими свойствами для выполнения конкретного действия, даже если этот предмет изначально не был предназначен для такой цели.
Метод опирается на способность нейросетевых моделей сопоставлять визуальные признаки объектов с абстрактными задачами. Это позволяет роботу не просто распознавать предметы, но и оценивать их пригодность для манипуляций в динамической среде. Такой подход значительно расширяет автономность робототехнических систем в неструктурированных условиях, где стандартные инструменты могут отсутствовать.
Ключевые факты
- GROW$^2$ фокусируется на задаче «open-world affordance grounding», позволяя роботам находить инструменты для нестандартных задач.
- Система выполняет двухэтапный процесс: выбор подходящего объекта (Which) и локализация конкретной зоны для захвата или воздействия (Where).
- Метод позволяет роботам адаптироваться к ситуациям, когда специализированные инструменты недоступны, используя подручные средства.
- Исследование направлено на повышение гибкости манипуляторов в реальных бытовых и производственных сценариях.