Исследователи представили Cortex — фреймворк для воплощенных ИИ-агентов, решающий проблему выполнения долгосрочных задач в робототехнике. В отличие от стандартных VLA-моделей, ограниченных текущим наблюдением, Cortex использует двунаправленное выравнивание между высокоуровневым планированием и низкоуровневой кинематикой, что позволяет агентам эффективнее справляться со сложными манипуляциями в динамической среде.
Современные Vision-Language-Action модели часто сталкиваются с трудностями при планировании последовательных действий из-за своей марковской природы, где каждое решение принимается изолированно. Иерархические подходы, призванные исправить это, обычно страдают от разрыва между семантикой плана и физическими возможностями исполнителя. Cortex устраняет этот барьер, синхронизируя абстрактные цели с конкретными траекториями движения.
Система обеспечивает двустороннюю связь: высокоуровневый планировщик учитывает ограничения исполнителя, а низкоуровневый контроллер передает обратную связь о выполнимости действий обратно в планировщик. Это позволяет агенту корректировать стратегию в реальном времени, если текущее состояние среды отклоняется от ожидаемого, что критически важно для автономной работы в неструктурированных пространствах.
Ключевые факты
- Cortex решает проблему «марковского разрыва» в VLA-моделях при выполнении длинных последовательностей действий.
- Фреймворк внедряет двунаправленное выравнивание между семантическим планированием и кинематическим исполнением.
- Система минимизирует ошибки при переходе от абстрактных команд к физическим манипуляциям в робототехнике.
- Архитектура ориентирована на повышение надежности автономных агентов в задачах, требующих многошагового планирования.