Исследователи представили RoboTTT — новый метод обучения робототехнических моделей, позволяющий масштабировать визуально-моторный контекст до 8000 временных шагов. Это решение увеличивает объем обрабатываемой информации в 1000 раз по сравнению с актуальными аналогами, не увеличивая при этом задержку при инференсе. Подход открывает возможности для обучения роботов сложным навыкам через демонстрации, включая выполнение задач с одного показа.
Современные модели для управления роботами обычно ограничены короткими последовательностями или одиночными шагами, что затрудняет выполнение долгосрочных и многоэтапных операций. RoboTTT использует технику обучения во время тестирования (Test-Time-Training), которая адаптирует политику управления к текущему контексту без необходимости переобучения всей нейросети. Это позволяет системе лучше учитывать динамику окружающей среды и историю предыдущих действий.
Технология значительно расширяет горизонт планирования для автономных агентов. Благодаря эффективной работе с длинными последовательностями, роботы могут точнее интерпретировать сложные визуальные сигналы и корректировать траектории движения в реальном времени. Метод доказывает, что увеличение контекстного окна является критическим фактором для перехода от простых манипуляций к выполнению комплексных бытовых и производственных задач.
Ключевые факты
- Объем контекста увеличен до 8000 временных шагов, что в 1000 раз превышает показатели существующих моделей.
- Метод RoboTTT не приводит к росту задержки (latency) при выполнении инференса.
- Реализована поддержка обучения по принципу one-shot, позволяющая роботу осваивать новые действия после единственной демонстрации.
- Архитектура ориентирована на визуально-моторные задачи, где критически важна обработка сенсорных данных в реальном времени.