Hacker News · 20.06.2026 ·Машинное обучение

EgoInfinity: масштабный датасет для обучения роботов действиям на основе видео

Исследователи представили EgoInfinity — специализированный датасет и вычислительный движок, предназначенный для обучения роботов выполнению задач на основе анализа видеоданных. Проект направлен на решение одной из ключевых проблем современной робототехники: нехватки качественных данных, связывающих визуальное восприятие с конкретными физическими действиями. В отличие от стандартных наборов данных, EgoInfinity использует масштабные видеоархивы для генерации траекторий, которые роботы могут использовать для имитационного обучения.

Система позволяет эффективно масштабировать процесс сбора данных, преобразуя видеозаписи действий человека в структурированные инструкции для манипуляторов. Такой подход значительно снижает зависимость от дорогостоящего сбора данных в реальных физических условиях, позволяя моделям обучаться на разнообразных сценариях взаимодействия с объектами. Использование подобных инструментов ускоряет разработку алгоритмов, способных к обобщению навыков в различных средах.

Технология опирается на методы обучения с подкреплением и имитационного обучения, адаптированные для работы с большими объемами неразмеченных видео. Разработка открывает новые возможности для создания универсальных моделей управления роботами, которые могут обучаться сложным манипуляциям, просто наблюдая за выполнением задач людьми. Это важный шаг в развитии автономных систем, способных адаптироваться к новым задачам без необходимости перепрограммирования под каждый конкретный сценарий.

Источник: Hacker News

Похожие материалы

The Decoder · ИИ в бизнесе Nvidia и университеты США обучили роботов навыкам захвата через ИИ-агентов Исследователи из Nvidia, Университета Карнеги — Меллона и Калифорнийского университета в Беркли представили метод обучения робототехники с помощью автономных ИИ-агентов. Система использует возможности генеративного кода для самостоятельной корректировки движений роботов в реальных условиях. Вместо классического программирования каждого действия, агенты анализируют неудачные попытки и автоматически переписывают алгоритмы управления, чтобы повысить точность выполнения сложных манипуляций. Ars Technica - All content · ИИ в бизнесе NVIDIA использует ИИ-агентов для автономного обучения роботов Компания NVIDIA представила новую методику подготовки робототехнических систем, в которой ключевую роль играют автономные ИИ-агенты, специализирующиеся на написании кода. Вместо ручного программирования каждого движения или алгоритма, система использует группы агентов для самостоятельной корректировки и оптимизации обучающих сценариев. Это позволяет роботам быстрее адаптироваться к выполнению сложных задач в динамических условиях. arXiv · Память и RAG RoboPIN: новый подход к визуальному мышлению для ИИ-агентов Исследователи из MIT и других ведущих университетов представили RoboPIN — метод, который улучшает способность ИИ-агентов к визуальному мышлению в физических средах. Текущие модели часто используют текстовые или координатные цепочки мыслей, что приводит к разрыву между визуальными данными и логическим выводом. RoboPIN предлагает решение, фиксируя визуальные объекты в процессе рассуждений, что делает их более точными и последовательными. arXiv · Исследования и наука UNIEGO: новый подход к обучению представлений в эгоцентрических видео Исследователи представили метод UNIEGO, направленный на решение проблемы ограниченного обзора в эгоцентрических видео, снятых с носимых камер. Основная сложность таких данных заключается в узком угле обзора, единственной модальности и зависимости от конкретной модели, что не позволяет полноценно интерпретировать человеческие действия. Авторы работы предлагают использовать прокси-модели в качестве посредников для объединения знаний из различных источников. arXiv · ИИ в бизнесе Новый фреймворк VERITAS для обучения роботов на основе визуальной проверки Исследователи предложили новый подход к обучению роботов, который позволяет им улучшать свои навыки в реальном времени. В статье на arXiv представлен фреймворк VERITAS, сочетающий генератор и верификатор для корректировки политик роботов и их самостоятельного улучшения. arXiv · Память и RAG Geometric Action Model для обучения политик роботов Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве. Google DeepMind News · Память и RAG Gemini Robotics-ER 1.6: новый уровень автономной робототехники DeepMind представила обновлённую версию своей системы Gemini Robotics-ER 1.6, которая значительно улучшает пространственное мышление и многоканальное восприятие роботов. Новая версия позволяет роботам лучше понимать и взаимодействовать с физическим миром, что критически важно для создания автономных агентов. AI News & Artificial Intelligence | TechCrunch · Данные и инжиниринг Сбор данных для обучения роботов становится индустриальным вызовом Развитие физического ИИ столкнулось с дефицитом качественных обучающих данных. В отличие от текстовых моделей, которые обучаются на массивах из интернета, робототехнике требуются специфические наборы данных, фиксирующие взаимодействие машин с реальными объектами. Этот процесс остается трудоемким и требует ручного сбора информации в непредсказуемых физических условиях. arXiv · Машинное обучение Оптимизация дообучения Vision-Language-Action моделей Исследователи обнаружили, что для эффективной адаптации Vision-Language-Action (VLA) моделей к конкретным задачам робототехники не требуется задействовать все параметры архитектуры. Анализ показал, что значительная часть слоев в таких моделях избыточна при дообучении на специализированных наборах данных. Использование метода частичной настройки позволяет существенно снизить вычислительные затраты без потери качества управления роботами. arXiv · Память и RAG LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов.

← Все материалы