Исследователи Google DeepMind представили проект GenCeption, доказывающий, что современные видеогенераторы обладают глубоким пониманием физики и структуры окружающего мира. Используя эти модели для классических задач компьютерного зрения, таких как оценка глубины и сегментация объектов, разработчики достигли результатов уровня SOTA, затратив при этом значительно меньше данных для обучения, чем специализированные системы машинного зрения.
Ключевой особенностью подхода стало обучение модели почти исключительно на синтетических видеоданных. Это подтверждает гипотезу о том, что генеративные модели, обученные на предсказании следующего кадра, не просто копируют визуальные паттерны, а формируют внутреннее представление о пространственных и временных закономерностях реальности. Подобная «модель мира» позволяет эффективно решать прикладные задачи без необходимости создания узкоспециализированных архитектур для каждого типа визуального анализа.
Результаты работы ставят под сомнение традиционные методы обучения компьютерного зрения, основанные на огромных размерах размеченных датасетов. Вместо этого предлагается использовать предобученные генеративные модели как универсальный фундамент для широкого спектра задач восприятия, что может радикально сократить затраты на подготовку данных и ускорить внедрение систем машинного зрения в робототехнику и автономные системы.
Ключевые факты
- Проект GenCeption использует видеогенераторы для решения задач оценки глубины и семантической сегментации.
- Модель обучалась преимущественно на синтетически сгенерированных видеороликах, а не на реальных наборах данных.
- Эффективность системы сопоставима с современными специализированными моделями компьютерного зрения (SOTA).
- Исследование подтверждает, что генерация видео способствует формированию универсальной модели мира внутри нейросети.
- Подход позволяет значительно снизить потребность в больших объемах размеченных данных для обучения систем визуального восприятия.