arXiv · 18.06.2026 ·Машинное обучение

Оптимизация дообучения Vision-Language-Action моделей

Исследователи обнаружили, что для эффективной адаптации Vision-Language-Action (VLA) моделей к конкретным задачам робототехники не требуется задействовать все параметры архитектуры. Анализ показал, что значительная часть слоев в таких моделях избыточна при дообучении на специализированных наборах данных. Использование метода частичной настройки позволяет существенно снизить вычислительные затраты без потери качества управления роботами.

Традиционные VLA-модели, обученные на огромных массивах видеоданных и взаимодействий, обладают миллиардами параметров, что делает их внедрение в реальные системы управления крайне ресурсоемким. Новое исследование доказывает, что при дообучении для выполнения конкретных манипуляций достаточно обновлять лишь малую долю весов, сохраняя при этом высокую точность выполнения операций. Такой подход значительно упрощает процесс адаптации моделей для работы в режиме реального времени.

Полученные результаты открывают путь к более доступному развертыванию интеллектуальных систем управления на периферийных устройствах с ограниченной вычислительной мощностью. Сокращение количества активных слоев при дообучении не только ускоряет цикл разработки, но и снижает требования к GPU-инфраструктуре, необходимой для интеграции моделей в промышленную робототехнику.

Источник: arXiv

Похожие материалы

arXiv · Оценка и бенчмарки Исследование знаний в моделях Vision-Language-Action Исследователи представили протокол Act2Answer для оценки когнитивных способностей моделей Vision-Language-Action (VLA). Эти системы, предназначенные для управления роботами, обычно создаются путем дообучения мультимодальных моделей на специфических данных из робототехники. Однако до сих пор оставалось неясным, насколько эффективно такие модели сохраняют базовые знания об окружающем мире и здравый смысл после адаптации к физическим задачам. arXiv · Модели и релизы Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. arXiv · Машинное обучение Новый подход к улучшению планирования в Vision-Language-Action моделях Исследователи предложили новый метод PearlVLA для улучшения планирования в Vision-Language-Action (VLA) моделях. Текущие VLA-модели сталкиваются с компромиссом между эффективностью генерации действий и явным планированием. Прямое декодирование действий из представлений визуально-языкового бэкенда обеспечивает низкую задержку, но явное планирование через текстовые цепочки или поиск действий увеличивает задержку и вычислительные затраты. arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. Hacker News · Прогнозы и тренды Оптимизация выбора моделей: когда достаточно малых решений Разработчики все чаще обращают внимание на избыточность использования крупных языковых моделей для простых задач. Вместо внедрения тяжелых и дорогостоящих систем, требующих значительных вычислительных мощностей, для многих прикладных сценариев эффективнее подходят специализированные инструменты или компактные модели. Такой подход позволяет существенно снизить задержки в ответах и сократить операционные расходы на инференс. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Машинное обучение Модельно-ориентированный подход к созданию сред для обучения с подкреплением Исследователи представили новый подход к разработке виртуальных сред, предназначенных для обучения агентов с подкреплением (RL). Традиционно создание таких систем требует значительных затрат времени, так как для успешной сходимости алгоритмов агентам необходимо тренироваться в множестве схожих, но вариативных условий. Авторы работы предлагают использовать модельно-ориентированную методологию, которая позволяет автоматизировать генерацию семейств сред, сохраняя при этом их функциональную близость. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. arXiv · Машинное обучение Автоматическая оптимизация 3D-генерации с помощью VLM-судьи Исследователи представили новый метод улучшения качества генерации 3D-объектов по одному изображению. В основе подхода лежит использование мультимодальной языковой модели (VLM) в качестве автоматического судьи, который оценивает и ранжирует качество создаваемых мешей. Традиционные метрики, такие как CLIP или упрощенные геометрические прокси, часто оказываются недостаточно точными для оценки сложных 3D-структур, поэтому новая система предлагает более надежный способ фильтрации результатов. The Decoder · ИИ в бизнесе Nvidia и университеты США обучили роботов навыкам захвата через ИИ-агентов Исследователи из Nvidia, Университета Карнеги — Меллона и Калифорнийского университета в Беркли представили метод обучения робототехники с помощью автономных ИИ-агентов. Система использует возможности генеративного кода для самостоятельной корректировки движений роботов в реальных условиях. Вместо классического программирования каждого действия, агенты анализируют неудачные попытки и автоматически переписывают алгоритмы управления, чтобы повысить точность выполнения сложных манипуляций.

← Все материалы