arXiv · 16.06.2026 ·Машинное обучение

Новый подход к улучшению планирования в Vision-Language-Action моделях

Исследователи предложили новый метод PearlVLA для улучшения планирования в Vision-Language-Action (VLA) моделях. Текущие VLA-модели сталкиваются с компромиссом между эффективностью генерации действий и явным планированием. Прямое декодирование действий из представлений визуально-языкового бэкенда обеспечивает низкую задержку, но явное планирование через текстовые цепочки или поиск действий увеличивает задержку и вычислительные затраты.

PearlVLA предлагает прогрессивное уточнение планов действий в латентном пространстве. Это позволяет улучшить планирование без значительного увеличения задержки и вычислительных ресурсов. Исследователи утверждают, что их метод может найти применение в робототехнике и других областях, где требуется сложное планирование действий на основе визуальных и языковых данных.

Статья с подробным описанием метода и экспериментов опубликована на arXiv. Исследователи планируют дальнейшее развитие метода для применения в реальных сценариях.

Источник: arXiv

Похожие материалы

arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. arXiv · Память и RAG LabVLA: ИИ-агенты для выполнения научных экспериментов Исследователи представили LabVLA — фреймворк, который позволяет ИИ-агентам не только анализировать научные данные и генерировать гипотезы, но и выполнять физические действия в лабораториях. Это важный шаг в интеграции ИИ в реальные научные процессы, где до сих пор требуется человеческое вмешательство. arXiv · Модели и релизы Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. Hacker News · Модели и релизы Новая модель для реального времени взаимодействия с изображениями и текстом Исследователи представили модель JoyAI-VL-Interaction, предназначенную для взаимодействия с изображениями и текстом в реальном времени. Она способна обрабатывать визуальные и текстовые данные одновременно, что открывает возможности для новых приложений в области компьютерного зрения и обработки естественного языка. arXiv · Память и RAG SpatialClaw: новый интерфейс для пространственного мышления ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый подход к решению проблемы пространственного мышления в ИИ-агентах. В работе SpatialClaw они предлагают пересмотреть интерфейс действий, через который агенты взаимодействуют с инструментами для восприятия пространства. Это особенно важно для задач, требующих понимания расположения объектов, их взаимосвязей и движений в 3D-пространстве. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Память и RAG PACT: гибридная архитектура для планирования в RL Исследователи из MIT и других университетов предложили новую архитектуру PACT (Plan, Align, Commit, Think), которая объединяет реактивные политики обучения с подкреплением (RL) с медленным, но осознанным планированием с помощью малого языкового модели (SLM). Это решение направлено на проблему деградации RL-политик в незнакомых средах, где отсутствует явное планирование. Hugging Face - Blog · Оценка и бенчмарки VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели.

← Все материалы