arXiv · 30.07.2026 ·Исследования и наука

EgoGenesis: симулятор эгоцентрических видео для обучения embodied AI

Исследователи представили EgoGenesis — систему для синтеза высококачественных эгоцентрических видео, предназначенную для обучения embodied AI. Модель решает проблему дефицита реальных данных о манипуляциях с объектами, позволяя генерировать разнообразные сценарии действий. Использование онлайн-памяти и специализированного позиционного кодирования Action-3D RoPE обеспечивает высокую точность и управляемость видеопотока, что критически важно для тренировки робототехнических систем в виртуальной среде.

Традиционный сбор данных для обучения роботов, взаимодействующих с миром от первого лица, требует значительных временных и финансовых затрат. EgoGenesis опирается на предобученные генеративные видеомодели, дополняя их механизмами «якорной» проективной памяти. Это позволяет системе сохранять пространственную согласованность объектов при смене ракурсов и выполнении сложных манипуляций, что ранее было труднодостижимо в генеративных подходах.

Технология ориентирована на расширение обучающих выборок для агентов, работающих в физическом мире. Благодаря синтезу контролируемых видеоданных, разработчики могут создавать редкие или опасные сценарии, которые сложно зафиксировать в реальности. Это ускоряет процесс обучения моделей управления, делая их более устойчивыми к вариативности окружения и объектов, с которыми предстоит взаимодействовать роботу.

Ключевые факты

EgoGenesis использует метод онлайн-якорной проективной памяти для поддержания пространственной стабильности объектов в видео.
Архитектура включает Action-3D RoPE — специализированное позиционное кодирование для точной передачи динамики манипуляций.
Система предназначена для генерации синтетических данных, расширяющих возможности обучения embodied AI при дефиците реальных записей.
Подход позволяет создавать высококачественные видео с управляемыми действиями, сценами и типами воплощений (embodiments).

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение EgoInfinity: масштабный датасет для обучения роботов действиям на основе видео Исследователи представили EgoInfinity — специализированный датасет и вычислительный движок, предназначенный для обучения роботов выполнению задач на основе анализа видеоданных. Проект направлен на решение одной из ключевых проблем современной робототехники: нехватки качественных данных, связывающих визуальное восприятие с конкретными физическими действиями. В отличие от стандартных наборов данных, EgoInfinity использует масштабные видеоархивы для генерации траекторий, которые роботы могут использовать для имитационного обучения. arXiv · Исследования и наука PhysisForcing: повышение физической достоверности видеогенераторов для робототехники Исследователи представили PhysisForcing — метод, повышающий физическую точность видеогенеративных моделей при симуляции манипуляций роботов. Решение устраняет проблему нереалистичных траекторий и нарушений взаимодействия объектов, характерную для стандартных генераторов видео. Новый подход позволяет создавать более надежные цифровые среды для обучения робототехнических систем, обеспечивая предсказуемость движений и физическую согласованность в сгенерированных сценариях взаимодействия. AI News & Artificial Intelligence | TechCrunch · Машинное обучение General Intuition использует данные видеоигр для обучения роботов Стартап General Intuition разрабатывает фундаментальные модели для физического ИИ, используя огромные массивы данных из видеоигр. Компания стремится сократить зависимость робототехники от дорогостоящего сбора данных в реальном мире, обучая системы на симулированных средах. Такой подход призван ускорить создание универсальных роботов, способных эффективно обучаться сложным манипуляциям с минимальным количеством физических испытаний. Hacker News · Исследования и наука NVIDIA представила метод самообучения роботов Enpire Исследователи NVIDIA представили Enpire — новый метод, позволяющий роботам самостоятельно улучшать свои действия в реальных физических условиях. В отличие от традиционных подходов, требующих длительного обучения с учителем или огромных массивов размеченных данных, система использует агентный подход для итеративной корректировки стратегий поведения. Робот анализирует результаты своих попыток выполнения задачи, выявляет ошибки и автоматически генерирует новые сценарии для их исправления. The Decoder · Исследования и наука Google DeepMind: видеогенераторы содержат универсальные модели мира Исследователи Google DeepMind представили проект GenCeption, доказывающий, что современные видеогенераторы обладают глубоким пониманием физики и структуры окружающего мира. Используя эти модели для классических задач компьютерного зрения, таких как оценка глубины и сегментация объектов, разработчики достигли результатов уровня SOTA, затратив при этом значительно меньше данных для обучения, чем специализированные системы машинного зрения. arXiv · Исследования и наука ARDY: новый метод генерации 3D-движений человека в реальном времени Исследователи представили ARDY — метод генерации реалистичных 3D-движений человека, объединяющий авторегрессионные модели и диффузионные процессы. Решение позволяет синтезировать анимацию в реальном времени, сохраняя высокую точность контроля через текстовые описания и кинематические ограничения. Это устраняет разрыв между качественными офлайн-методами и быстрыми, но менее точными онлайн-системами, что критически важно для робототехники и интерактивных симуляций. GitHub · Машинное обучение Масштабируемое обучение видеомоделей для воплощенного ИИ Проект LingBot-Video представляет новый подход к масштабированию обучения видеомоделей на основе архитектуры Mixture-of-Experts (MoE). Метод направлен на развитие воплощенного интеллекта (Embodied Intelligence), позволяя моделям эффективнее обрабатывать визуальные данные и обучаться на больших наборах видео, что критически важно для управления робототехническими системами и понимания динамических сред в реальном времени. arXiv · Исследования и наука GS-Agent: генерация 4D-миров на основе текстовых описаний Исследователи представили GS-Agent — систему для автоматического создания динамических и физически корректных 4D-сред на основе текстовых промптов. Решение объединяет генеративные модели с физическим моделированием, позволяя формировать визуально детализированные миры с реалистичной анимацией и взаимодействием объектов, что значительно сокращает трудозатраты на ручную настройку материалов, освещения и траекторий движения в традиционной компьютерной графике. arXiv · Машинное обучение Метод VLK для обучения человекоподобных роботов сложным манипуляциям Исследователи представили фреймворк VLK (Vision-Language-Kinematics), решающий проблему нехватки данных для обучения человекоподобных роботов одновременному перемещению и манипуляции объектами. Система генерирует синтетические наборы данных, объединяющие эгоцентрические изображения, текстовые инструкции и кинематические траектории, что позволяет роботам эффективнее связывать визуальное восприятие с физическими действиями в сложных сценариях. AI News & Artificial Intelligence | TechCrunch · Исследования и наука Мозговая активность как новый источник данных для обучения физического ИИ Разработчики физического ИИ начинают рассматривать данные электроэнцефалографии (ЭЭГ) как критический ресурс для обучения робототехники. В отличие от видеопотоков, которые требуют сложной аннотации, сигналы мозга могут напрямую передавать намерения оператора и контекст выполнения задачи. Это направление призвано преодолеть текущий потолок в обучении моделей, работающих в реальном физическом пространстве, за счет более точной интерпретации человеческих действий.

← Все материалы