arXiv · 04.08.2026 ·Исследования и наука

LiLa-WAM: новая модель для эффективного управления роботами

Исследователи представили LiLa-WAM — легковесную модель для робототехники, объединяющую предсказание динамики мира с планированием действий. В отличие от традиционных методов, работающих с пикселями, модель использует латентное пространство для фокусировки на ключевых аспектах задачи. Это позволяет роботам эффективнее предсказывать изменения в сцене и выполнять манипуляции, значительно снижая вычислительные затраты по сравнению с существующими аналогами.

Основная проблема современных моделей мировых действий (World-Action Models) заключается в избыточности: они тратят вычислительные ресурсы на обработку визуальных деталей, которые не влияют на физическое взаимодействие с объектами. LiLa-WAM решает эту задачу за счет компактного представления данных, что делает её пригодной для использования в системах с ограниченными ресурсами, где важна скорость реакции и точность движений.

Архитектура модели позволяет разделять визуальное восприятие и логику управления, выделяя только те признаки, которые критически важны для выполнения манипуляций. Такой подход не только ускоряет инференс, но и повышает стабильность управления в динамических средах, где сцена постоянно меняется из-за действий самого робота или внешних факторов.

Ключевые факты

LiLa-WAM использует латентное пространство для моделирования динамики, исключая избыточную обработку визуальных данных.
Модель ориентирована на задачи робототехнической манипуляции, требующие предсказания эволюции сцены.
Архитектура обеспечивает существенное снижение вычислительной нагрузки по сравнению с методами, работающими напрямую в пиксельном пространстве.
Подход позволяет роботам лучше планировать действия, выходя за рамки простой реактивности на текущие наблюдения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. NVIDIA Technical Blog · Машинное обучение World Action Models: новый подход к обучению роботов манипуляциям Исследователи NVIDIA представили концепцию World Action Models (WAM), которая меняет подход к обучению роботов взаимодействию с физическими объектами. В отличие от традиционных Vision-Language-Action (VLA) моделей, WAM обучаются предсказывать последствия действий в динамической среде. Это позволяет роботам лучше обобщать навыки и выполнять сложные манипуляции в условиях, выходящих за рамки обучающих демонстраций, повышая автономность систем в непредсказуемых сценариях. arXiv · Машинное обучение WCM: новый подход к обучению VLA-моделей для робототехники Исследователи представили World Critic Model (WCM) — метод обучения VLA-моделей (Vision-Language-Action), решающий проблему неполной наблюдаемости в робототехнике. В отличие от традиционных подходов, использующих оценку отдельных кадров, WCM интегрирует временную динамику в процесс обучения критика. Это позволяет агентам лучше учитывать контекст последовательностей при выполнении манипуляционных задач, повышая точность управления в сложных условиях. arXiv · Исследования и наука CoWAM: новый метод координации действий для робототехники Исследователи представили CoWAM — слой селективного вмешательства для робототехнических систем, использующих World Action Models (WAMs). Метод позволяет роботам с бимануальным управлением координировать действия через систему контрактов. Это решает проблему слепого следования предсказанным сценариям, обеспечивая синхронизацию, совместимость ролей и предотвращение столкновений при выполнении сложных манипуляций в динамической среде. arXiv · Исследования и наука Latent Memory Palace: новый подход к адаптивному рассуждению в задачах управления Исследователи представили метод Latent Memory Palace, который переносит способности LLM к адаптивному рассуждению в область непрерывного управления робототехникой. В отличие от стандартных моделей, работающих в языковом пространстве, этот подход использует вариационный вывод для создания скрытых представлений, что позволяет агентам гибко переключаться между мгновенными реакциями и длительным планированием действий в сложных динамических средах. arXiv · Исследования и наука Исследование BadWAM: почему модели мира ошибаются в действиях Исследователи проанализировали уязвимости World-Action Models (WAMs) — систем, объединяющих прогнозирование состояния среды с генерацией действий для робототехники. Несмотря на способность моделей точно предсказывать будущие состояния мира, они часто совершают критические ошибки при выполнении физических действий. Авторы работы демонстрируют, что высокая точность «воображения» не гарантирует корректного управления, создавая ложное ощущение безопасности и интерпретируемости систем. arXiv · Машинное обучение Новый подход к планированию в world models повышает точность управления роботами Исследователи предложили метод улучшения планирования в world models, который решает проблему накопления ошибок при выборе действий. Вместо слепого следования последовательности с минимальной предсказанной стоимостью, алгоритм учитывает действия из «смежного множества» в физическом пространстве. Это позволяет избежать выбора невыполнимых траекторий, которые ошибочно кажутся оптимальными из-за остаточных ошибок прогнозирования модели. arXiv · Исследования и наука NeuralActuator: повышение точности управления роботами через нейросетевое моделирование Исследователи представили NeuralActuator — метод нейросетевого моделирования динамики приводов, решающий проблему расхождения между симуляцией и реальностью в робототехнике. Традиционные линейные модели не учитывают трение, гистерезис и тепловые эффекты, что критично для бюджетных платформ. Новый подход позволяет более точно предсказывать выходной крутящий момент, значительно повышая эффективность обучения политик управления и точность выполнения команд в сложных физических условиях. arXiv · Исследования и наука DLAM: новый метод обучения VLA-моделей на видео без разметки действий Исследователи представили метод DLAM (Distributional Latent Actions), позволяющий эффективно обучать Vision-Language-Action модели, используя видео без разметки действий. В условиях дефицита данных для робототехники подход позволяет извлекать полезные закономерности из обширных массивов видеоданных, обеспечивая при этом необходимую временную согласованность и структуру для генерации управляющих команд роботам в связке с текстовыми инструкциями. arXiv · Машинное обучение Новый метод обучения роботов через использование априорных знаний о движении Исследователи представили метод обучения роботов, который решает проблему нехватки физических навыков у моделей Vision-Language-Action (VLA). Вместо обучения управлению движением с нуля, авторы внедрили механизм априорных знаний об действиях (action priors). Это позволяет модели эффективнее переносить навыки между различными типами робототехнических платформ, значительно ускоряя процесс адаптации к новым задачам манипуляции объектами.

← Все материалы