Hugging Face - Blog · 17.06.2026 ·Исследования и наука

MolmoMotion: новая модель для прогнозирования 3D-движений по текстовому описанию

Институт искусственного интеллекта Аллена (AI2) представил MolmoMotion — специализированную модель, предназначенную для прогнозирования 3D-траекторий движения объектов на основе текстовых инструкций. Разработка опирается на архитектуру мультимодальных моделей Molmo, что позволяет системе эффективно интерпретировать сложные семантические описания действий и переносить их в физическое пространство.

Ключевая особенность модели заключается в способности предсказывать последовательность 3D-координат, соответствующих заданному сценарию. В отличие от традиционных методов генерации анимации, требующих детальной разметки, MolmoMotion обучалась на обширных наборах данных, связывающих естественный язык с динамическими сценами. Это позволяет системе понимать контекст и нюансы движений, которые сложно формализовать стандартными алгоритмами.

Технология открывает новые возможности для автоматизации создания контента в робототехнике и компьютерном моделировании. Благодаря интеграции языкового понимания и пространственного прогнозирования, модель способна генерировать реалистичные траектории для виртуальных агентов и физических систем, минимизируя необходимость в ручном проектировании анимационных последовательностей. Исследователи опубликовали веса модели и методологию обучения, предоставляя сообществу инструмент для дальнейшего развития систем управления движением.

Источник: Hugging Face - Blog

Похожие материалы

Hacker News · Модели и релизы Новая модель для реального времени взаимодействия с изображениями и текстом Исследователи представили модель JoyAI-VL-Interaction, предназначенную для взаимодействия с изображениями и текстом в реальном времени. Она способна обрабатывать визуальные и текстовые данные одновременно, что открывает возможности для новых приложений в области компьютерного зрения и обработки естественного языка. Hacker News · Модели и релизы Qwen-RobotWorld: новый подход к обучению мультимодальных агентов Команда из Alibaba Group представила Qwen-RobotWorld — новый подход к обучению мультимодальных агентов. В техническом отчёте, опубликованном на arXiv, описаны методы, позволяющие моделям лучше понимать и взаимодействовать с физическим миром. Исследователи использовали комбинацию текстовых и визуальных данных, а также данные из симуляторов роботов для дообучения моделей. arXiv · Память и RAG Geometric Action Model для обучения политик роботов Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве. arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. Google DeepMind News · Модели и релизы DeepMind представила Gemma 4 12B — универсальную мультимодальную модель DeepMind анонсировала новую версию своей мультимодальной модели Gemma 4 12B. Это первая модель в линейке Gemma, которая работает без отдельного энкодера для текста и изображений, что делает её более универсальной и эффективной. The Gradient · Инфраструктура для агентов Mamba: новая архитектура для обработки длинных последовательностей Mamba — это новая архитектура нейросетевых моделей, основанная на State Space Models (SSMs). Она позиционируется как серьезная альтернатива Transformer-моделям, которые, несмотря на свою популярность, сталкиваются с проблемами эффективности при обработке длинных последовательностей. Hugging Face - Blog · Модели и релизы Mellum2: новая 12-миллиардная модель от JetBrains для локального использования JetBrains представила Mellum2 — новую 12-миллиардную модель, основанную на архитектуре Mixture-of-Experts (MoE). Эта модель разработана для эффективного локального использования, что делает её особенно интересной для разработчиков ИИ-агентов, которым важна производительность на локальных устройствах. Mistral AI Blog · Исследования и наука Mistral представила AI-модели для прогноза физических систем Mistral анонсировала новые AI-модели, способные предсказывать поведение физических систем. Эти модели предназначены для ускорения инженерных разработок и создания новых аппаратных решений. Hugging Face - Blog · Память и RAG Новые мультимодальные модели для эмбеддингов и ранжирования Команда Sentence Transformers представила новые мультимодальные модели для создания эмбеддингов и ранжирования. Эти модели способны обрабатывать как текстовые, так и визуальные данные, что делает их полезными для задач, требующих интеграции разных типов информации. Hacker News · Память и RAG MiMo Code: масштабирование агентов для сложных задач Команда Xiaomi представила фреймворк MiMo Code, который позволяет масштабировать ИИ-агентов для выполнения задач с длинным горизонтом. Это значит, что агенты могут работать с многоэтапными процессами, требующими последовательного выполнения действий и координации между разными модулями.

← Все материалы