Исследователи представили PAC-ACT (Post-training Actor-Critic) — метод дообучения моделей Action Chunking Transformers, оптимизированный для задач промышленной робототехники. Новый подход позволяет роботам эффективнее справляться с манипуляциями при изменении положения объектов и ограничениях по силе контакта, сохраняя при этом низкую задержку инференса, необходимую для работы в режиме реального времени.
Традиционные vision-language-action модели часто обладают избыточными вычислительными затратами, что затрудняет их использование в высокоточных производственных процессах. Метод PAC-ACT решает эту проблему, используя архитектуру Actor-Critic для дообучения моделей, которые уже прошли стадию имитационного обучения (behavior cloning). Это позволяет системе лучше адаптироваться к динамическим условиям среды, где требуется высокая точность взаимодействия с физическими объектами.
Внедрение данного подхода позволяет сократить разрыв между обобщающими способностями крупных мультимодальных моделей и требованиями к производительности промышленных контроллеров. Использование Action Chunking позволяет модели генерировать последовательности действий, минимизируя накопленные ошибки и обеспечивая стабильность управления при возникновении внешних возмущений.
Ключевые факты
- Метод PAC-ACT использует архитектуру Actor-Critic для улучшения политик управления роботами после этапа имитационного обучения.
- Технология ориентирована на задачи промышленной контактной манипуляции, требующие учета ограничений по силе воздействия.
- Подход решает проблему высокой задержки инференса, характерную для крупных vision-language-action моделей.
- Метод повышает устойчивость робототехнических систем к случайным изменениям позы объектов (pose perturbations) в процессе выполнения задач.