NVIDIA Technical Blog · 04.08.2026 ·Машинное обучение

World Action Models: новый подход к обучению роботов манипуляциям

Исследователи NVIDIA представили концепцию World Action Models (WAM), которая меняет подход к обучению роботов взаимодействию с физическими объектами. В отличие от традиционных Vision-Language-Action (VLA) моделей, WAM обучаются предсказывать последствия действий в динамической среде. Это позволяет роботам лучше обобщать навыки и выполнять сложные манипуляции в условиях, выходящих за рамки обучающих демонстраций, повышая автономность систем в непредсказуемых сценариях.

Основная проблема классических VLA-моделей заключается в их зависимости от ограниченных наборов данных. Роботы часто теряются, если сцена или объект немного отличаются от тех, что были в обучающей выборке. Модели WAM решают эту задачу, интегрируя понимание физики мира: они не просто копируют движения, а моделируют вероятные изменения состояния среды после каждого действия. Такой подход приближает робототехнику к созданию универсальных агентов, способных адаптироваться к новым задачам «на лету».

Внедрение WAM позволяет сократить количество необходимых демонстраций для обучения, так как модель учится на основе предсказательных моделей мира, а не только на прямой имитации поведения. Это значительно снижает затраты на сбор данных и ускоряет развертывание робототехнических решений в логистике и промышленной автоматизации, где вариативность объектов и условий является критическим фактором.

Ключевые факты

World Action Models (WAM) фокусируются на предсказании динамики среды, а не только на сопоставлении визуальных данных с командами.
Новый подход позволяет роботам эффективнее обобщать навыки, выполняя задачи в сценах, которые не были представлены в обучающей выборке.
Использование WAM снижает зависимость от огромных массивов размеченных данных, необходимых для обучения традиционных VLA-моделей.
Технология направлена на решение проблемы «хрупкости» робототехнических политик при изменении освещения, расположения предметов или их геометрии.

Источник: NVIDIA Technical Blog

Обсудить с ИИ

Похожие материалы

arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. arXiv · Машинное обучение WCM: новый подход к обучению VLA-моделей для робототехники Исследователи представили World Critic Model (WCM) — метод обучения VLA-моделей (Vision-Language-Action), решающий проблему неполной наблюдаемости в робототехнике. В отличие от традиционных подходов, использующих оценку отдельных кадров, WCM интегрирует временную динамику в процесс обучения критика. Это позволяет агентам лучше учитывать контекст последовательностей при выполнении манипуляционных задач, повышая точность управления в сложных условиях. NVIDIA Technical Blog · Память и RAG World-Action Models: от воображения к действию NVIDIA представила концепцию World-Action Models (WAM), новых моделей, которые сочетают в себе возможности визуально-языковых моделей (VLM) с возможностью выполнения действий. Эти модели начинают с предобученного VLM-основания и адаптируют его для выполнения конкретных задач, что делает их перспективными для создания ИИ-агентов, способных не только понимать, но и взаимодействовать с окружающим миром. arXiv · Исследования и наука Исследование BadWAM: почему модели мира ошибаются в действиях Исследователи проанализировали уязвимости World-Action Models (WAMs) — систем, объединяющих прогнозирование состояния среды с генерацией действий для робототехники. Несмотря на способность моделей точно предсказывать будущие состояния мира, они часто совершают критические ошибки при выполнении физических действий. Авторы работы демонстрируют, что высокая точность «воображения» не гарантирует корректного управления, создавая ложное ощущение безопасности и интерпретируемости систем. arXiv · Машинное обучение Новый метод обучения роботов через использование априорных знаний о движении Исследователи представили метод обучения роботов, который решает проблему нехватки физических навыков у моделей Vision-Language-Action (VLA). Вместо обучения управлению движением с нуля, авторы внедрили механизм априорных знаний об действиях (action priors). Это позволяет модели эффективнее переносить навыки между различными типами робототехнических платформ, значительно ускоряя процесс адаптации к новым задачам манипуляции объектами. arXiv · Исследования и наука CoWAM: новый метод координации действий для робототехники Исследователи представили CoWAM — слой селективного вмешательства для робототехнических систем, использующих World Action Models (WAMs). Метод позволяет роботам с бимануальным управлением координировать действия через систему контрактов. Это решает проблему слепого следования предсказанным сценариям, обеспечивая синхронизацию, совместимость ролей и предотвращение столкновений при выполнении сложных манипуляций в динамической среде. arXiv · Машинное обучение WorldSample: новый метод обучения роботов с помощью мировых моделей Исследователи представили WorldSample — метод обучения с подкреплением (RL) для робототехники, который минимизирует количество физических взаимодействий с миром. Система использует мировые модели для генерации виртуальных траекторий, позволяя агентам обучаться на основе проб и ошибок без необходимости бесконечных повторений в реальности, что значительно снижает затраты на обучение и ускоряет процесс освоения сложных навыков. arXiv · Исследования и наука DLAM: новый метод обучения VLA-моделей на видео без разметки действий Исследователи представили метод DLAM (Distributional Latent Actions), позволяющий эффективно обучать Vision-Language-Action модели, используя видео без разметки действий. В условиях дефицита данных для робототехники подход позволяет извлекать полезные закономерности из обширных массивов видеоданных, обеспечивая при этом необходимую временную согласованность и структуру для генерации управляющих команд роботам в связке с текстовыми инструкциями. arXiv · Память и RAG Geometric Action Model для обучения политик роботов Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве. arXiv · Машинное обучение Новый метод обучения VLA-моделей через разделение физики и семантики Исследователи предложили новый подход к обучению Vision-Language-Action (VLA) моделей, разделяющий приобретение физических навыков и семантическое понимание задач. Вместо сбора дорогостоящих экспертных демонстраций, метод использует предварительное обучение на неразмеченных видео для освоения базовой моторики, что позволяет значительно снизить зависимость от дефицитных данных при создании робототехнических агентов.

← Все материалы