Исследователи представили PULS — конвейер для непрерывного обнаружения аномалий на видео, который отходит от традиционных методов обучения на множествах (MIL). Система использует модель мира для предсказания будущих состояний, объединяя кинематические данные с семантическими признаками. Это позволяет перевести задачу из плоскости простой классификации в область предиктивного анализа, повышая точность выявления нештатных ситуаций до их фактического наступления.
Традиционные подходы к видеоаналитике часто сводят сложные пространственно-временные признаки к простым скалярным оценкам, что ограничивает способность моделей понимать контекст происходящего. PULS решает эту проблему за счет двухкомпонентной архитектуры: модуля дистилляции кинематики в семантику (KSD Bridge) и предиктора состояний (ASP). Такая структура позволяет системе не просто фиксировать событие, а моделировать развитие сцены в латентном пространстве.
Метод демонстрирует эффективность в задачах, где критически важна временная составляющая, например, в системах безопасности или мониторинга производственных процессов. Использование компактного предиктора состояний делает архитектуру пригодной для интеграции в системы реального времени, где требуется высокая скорость обработки видеопотока без потери точности предсказания.
Ключевые факты
- Архитектура PULS состоит из двух модулей: KSD Bridge (490 млн параметров) и ASP (16,8 млн параметров).
- Метод заменяет реактивное обучение на множествах (MIL) на предиктивную модель мира.
- Система фокусируется на прогнозировании аномалий, а не только на их постфактум-детектировании.
- Подход использует латентные пространства для связки кинематических характеристик движения с семантическим смыслом видеоряда.