Netflix представила Vera — масштабный набор данных для обучения и оценки моделей генерации видео. Датасет включает 7100 коротких видеороликов с аннотациями, описывающими визуальные слои, объекты и их взаимодействие. Релиз направлен на улучшение контроля над генерацией видеоконтента, позволяя моделям лучше понимать структуру сцены и пространственные отношения между элементами в кадре.
Набор данных Vera ориентирован на решение проблем, с которыми сталкиваются современные генеративные модели при создании видео: нарушение целостности объектов, «галлюцинации» и нелогичное поведение элементов в кадре. Использование структурированных слоев позволяет исследователям обучать системы, которые могут раздельно обрабатывать фон, передний план и динамические объекты, повышая общую предсказуемость результата.
Публикация этого датасета предоставляет сообществу стандартизированный инструмент для бенчмаркинга видеогенераторов. В отличие от разрозненных наборов данных, Vera предлагает четкую иерархию метаданных, что критически важно для развития технологий видео-редактирования и автоматизированного создания контента с высокой степенью детализации.
Ключевые факты
- Датасет содержит 7100 видеороликов с разрешением 1080p.
- Общая длительность видеоматериалов составляет более 20 часов.
- В состав данных входят аннотации для 15 различных категорий визуальных слоев.
- Набор данных доступен на платформе Hugging Face под лицензией, ориентированной на исследовательские цели.
- Основная задача проекта — повышение точности генерации видео через понимание композиции сцены.