Исследователи представили StoryTeller — метод генерации аудиодескрипций для длинных видео, не требующий дополнительного обучения моделей. В отличие от стандартных VLM, которые анализируют короткие фрагменты изолированно, StoryTeller сохраняет контекст сюжета, персонажей и их взаимосвязи на протяжении всего фильма. Это позволяет создавать связное повествование, необходимое для полноценного восприятия контента людьми с нарушениями зрения.
Современные мультимодальные модели часто сталкиваются с проблемой «амнезии» при обработке длинных видеорядов, теряя нить повествования между сценами. Авторы предложили архитектурное решение, которое интегрирует долгосрочную память о ключевых событиях и характеристиках героев в процесс генерации описаний. Система динамически сопоставляет визуальные данные с накопленным нарративом, обеспечивая логическую последовательность и точность деталей в аудиодорожке.
Технология ориентирована на автоматизацию создания доступной среды в медиаиндустрии. Использование подхода без дообучения (training-free) снижает вычислительные затраты и упрощает внедрение метода в существующие конвейеры обработки видео. Это открывает возможности для масштабируемого производства качественных аудиодескрипций для полнометражных фильмов и сериалов без необходимости ручной разметки или дорогостоящего обучения специализированных нейросетей.
Ключевые факты
- StoryTeller решает проблему фрагментарности описаний, сохраняя контекст персонажей и событий на протяжении всего видео.
- Метод является training-free, что исключает необходимость дорогостоящего дообучения базовых видео-языковых моделей.
- Технология направлена на улучшение доступности медиаконтента для людей с нарушениями зрения (BLV-аудитории).
- Решение обеспечивает связность повествования, преодолевая ограничения стандартных VLM, работающих с короткими клипами.