arXiv · 15.06.2026 ·ИИ-агенты и физическое взаимодействие

Geometric Action Model для обучения политик роботов

Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве.

Современные модели, такие как vision-language-action (VLA) и video world-action models (WAM), обладают сильным семантическим или временным приоритетами благодаря обучению на больших наборах данных. Однако они работают в основном с 2D изображениями или 2D-пространствами. GAM, в отличие от них, использует геометрические представления, что позволяет роботам лучше понимать физический мир и взаимодействовать с ним.

Авторы демонстрируют эффективность GAM на нескольких задачах, включая манипуляцию объектами и навигацию. Они показывают, что их модель превосходит существующие подходы в точности и надежности. Это важно для разработки ИИ-агентов, так как позволяет им лучше взаимодействовать с физическим миром, что может быть полезно в различных приложениях, от бытовых роботов до промышленных систем.

Для команды, работающей над ИИ-агентом Jarv, этот подход может быть полезен в разработке модулей, отвечающих за физическое взаимодействие. Использование геометрических моделей может значительно улучшить способность агента понимать и взаимодействовать с окружающей средой, что является ключевым для многих приложений.

Источник: arXiv

Похожие материалы

arXiv · ИИ-агенты и предсказание действий LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. Google DeepMind News · ИИ-агенты и робототехника Gemini Robotics-ER 1.6: новый уровень автономной робототехники DeepMind представила обновлённую версию своей системы Gemini Robotics-ER 1.6, которая значительно улучшает пространственное мышление и многоканальное восприятие роботов. Новая версия позволяет роботам лучше понимать и взаимодействовать с физическим миром, что критически важно для создания автономных агентов. Hacker News · AI-агенты и мировые модели Как мировые модели дают ИИ-агентам «первое лицо» В новом видео исследователи обсуждают концепцию мировых моделей (World Models) и их роль в формировании «первого лица» у ИИ-агентов. Мировые модели — это подход, при котором ИИ создает внутреннюю репрезентацию окружающего мира, что позволяет ему действовать более автономно и адаптивно. NVIDIA Technical Blog · ИИ-агенты и действия World-Action Models: от воображения к действию NVIDIA представила концепцию World-Action Models (WAM), новых моделей, которые сочетают в себе возможности визуально-языковых моделей (VLM) с возможностью выполнения действий. Эти модели начинают с предобученного VLM-основания и адаптируют его для выполнения конкретных задач, что делает их перспективными для создания ИИ-агентов, способных не только понимать, но и взаимодействовать с окружающим миром. arXiv · ИИ-агенты и визуальное мышление RoboPIN: новый подход к визуальному мышлению для ИИ-агентов Исследователи из MIT и других ведущих университетов представили RoboPIN — метод, который улучшает способность ИИ-агентов к визуальному мышлению в физических средах. Текущие модели часто используют текстовые или координатные цепочки мыслей, что приводит к разрыву между визуальными данными и логическим выводом. RoboPIN предлагает решение, фиксируя визуальные объекты в процессе рассуждений, что делает их более точными и последовательными. arXiv · RAG и аналитическое мышление Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления. arXiv · Многозадачные ИИ-агенты Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. The latest research from Google · AI-агенты и восприятие Изучение AI для работы с картами Исследователи Google представили новый подход к обучению искусственного интеллекта чтению карт. В статье на Machine Perception подробно описаны методы, которые позволяют ИИ не только распознавать элементы карт, но и понимать их контекст и структуру.

← Все материалы