GitHub · 08.07.2026 ·Машинное обучение

Масштабируемое обучение видеомоделей для воплощенного ИИ

Проект LingBot-Video представляет новый подход к масштабированию обучения видеомоделей на основе архитектуры Mixture-of-Experts (MoE). Метод направлен на развитие воплощенного интеллекта (Embodied Intelligence), позволяя моделям эффективнее обрабатывать визуальные данные и обучаться на больших наборах видео, что критически важно для управления робототехническими системами и понимания динамических сред в реальном времени.

Основная идея заключается в использовании разреженных вычислений, которые позволяют значительно увеличить количество параметров модели без пропорционального роста вычислительных затрат на инференс. Это достигается за счет активации только части экспертных блоков для каждого входного фрагмента видео. Такой подход оптимизирует процесс предобучения, делая его более пригодным для задач, где требуется высокая скорость реакции и глубокое понимание физического мира.

Архитектура ориентирована на решение проблем, с которыми сталкиваются традиционные плотные модели при работе с длинными видеопоследовательностями. Благодаря интеграции MoE, система демонстрирует улучшенную способность к обобщению и адаптации в различных сценариях взаимодействия робота с окружающей средой, что является важным шагом для создания автономных агентов, способных выполнять сложные манипуляции в неструктурированных пространствах.

Ключевые факты

Использование архитектуры Mixture-of-Experts (MoE) для эффективного масштабирования видеомоделей.
Фокус на задачах воплощенного интеллекта (Embodied Intelligence) и робототехнике.
Оптимизация процесса предобучения для работы с большими объемами визуальных данных.
Снижение вычислительной нагрузки при сохранении высокой емкости модели за счет разреженной активации параметров.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

GitHub · Машинное обучение Lingbot-vision: новый подход к пространственному восприятию через самообучение Проект Lingbot-vision представляет собой реализацию методов самообучения (self-supervised learning) для задач пространственного восприятия. Исследование фокусируется на том, как модели могут эффективно извлекать геометрические и пространственные признаки из визуальных данных без необходимости в размеченных наборах данных, что является критически важным этапом для развития автономных систем и робототехники. Hacker News · Машинное обучение PuzzleMoE: новый метод сжатия моделей Mixture-of-Experts Исследователи представили PuzzleMoE — метод эффективного сжатия моделей с архитектурой Mixture-of-Experts (MoE). Технология позволяет значительно сократить количество параметров и вычислительные затраты при сохранении высокой точности нейросети. Подход оптимизирует структуру экспертов, делая крупные языковые модели более доступными для развертывания на ограниченных аппаратных ресурсах без существенной потери качества генерации. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. Hacker News · Оркестрация агентов Mixture of Actors: новый подход к масштабированию агентных систем Концепция Mixture of Actors (MoA) предлагает архитектурное решение для повышения производительности ИИ-агентов через динамическую маршрутизацию задач между специализированными моделями. Вместо использования одной универсальной LLM, система распределяет запросы между пулом агентов, оптимизируя точность ответов и снижая вычислительные затраты за счет выбора наиболее подходящего исполнителя для конкретного типа подзадачи в реальном времени. arXiv · Модели и релизы Новый метод SoftMoE для эффективного масштабирования LLM Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов. MarkTechPost · Машинное обучение Ant Group представила LingBot-Vision: компактную модель для пространственного восприятия Ant Group открыла исходный код LingBot-Vision — семейства моделей компьютерного зрения с 1 миллиардом параметров, ориентированных на плотное пространственное восприятие. Инновационный метод обучения с использованием маскированного моделирования границ (Masked Boundary Modeling) позволяет модели эффективно распознавать контуры объектов, достигая производительности, сопоставимой с гораздо более крупными архитектурами, и выступая фундаментом для специализированных систем оценки глубины. MarkTechPost · Модели и релизы Robbyant представила LingBot-VLA 2.0: открытую модель для управления роботами Robbyant, подразделение Ant Group, выпустило LingBot-VLA 2.0 — открытую Vision-Language-Action модель с 6 млрд параметров, предназначенную для управления различными типами роботов. Система обучалась на 60 000 часов данных, объединяя траектории движений 20 конфигураций роботов и видеозаписи действий человека, что позволяет унифицировать управление разнородными манипуляторами через единое пространство действий. Hacker News · Исследования и наука ByteDance представила новый закон масштабирования для обучения LLM Исследователи ByteDance разработали новый закон масштабирования, который позволяет более эффективно предсказывать производительность моделей при увеличении вычислительных мощностей. В отличие от традиционных подходов, новая методология учитывает специфику архитектурных параметров, что помогает оптимизировать процесс обучения и потенциально преодолеть замедление прогресса в развитии больших языковых моделей, сохраняя высокую эффективность при росте объемов данных. arXiv · Машинное обучение Новый метод обучения VLA-моделей через разделение физики и семантики Исследователи предложили новый подход к обучению Vision-Language-Action (VLA) моделей, разделяющий приобретение физических навыков и семантическое понимание задач. Вместо сбора дорогостоящих экспертных демонстраций, метод использует предварительное обучение на неразмеченных видео для освоения базовой моторики, что позволяет значительно снизить зависимость от дефицитных данных при создании робототехнических агентов. NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения.

← Все материалы