Исследователи представили метод адаптации мультимодальных LLM для анализа видео, решающий проблему «визуального узкого горлышка». Вместо обработки всех кадров, что вычислительно затратно, предложенный подход позволяет эффективно работать с разреженными последовательностями из 8–16 кадров. Это обеспечивает точную пространственно-временную локализацию событий, сохраняя высокую производительность моделей при масштабировании на видеоплатформах с огромным потоком контента.

Современные мультимодальные модели обучаются на плотных последовательностях, содержащих сотни кадров, что делает их применение для задач модерации в реальном времени практически невозможным. Новый метод позволяет моделям эффективно «интерполировать» контекст между редкими опорными кадрами, сохраняя понимание динамики происходящего. Это критически важно для систем автоматической модерации, где необходимо точно определять момент и место нарушения политики платформы без избыточных затрат на инференс.

Технология фокусируется на совместной пространственно-временной привязке, позволяя модели не просто классифицировать видео, а указывать конкретные координаты и временные интервалы событий. Такой подход значительно снижает требования к вычислительным мощностям, делая внедрение сложных визуальных моделей в инфраструктуру крупных видеохостингов более экономически оправданным и технически реализуемым.

Ключевые факты

  • Метод оптимизирует работу MLLM для обработки видео при использовании всего 8–16 кадров вместо сотен.
  • Решение направлено на автоматизацию модерации контента на платформах с высокой интенсивностью загрузок.
  • Технология обеспечивает точную пространственно-временную локализацию нарушений внутри видеопотока.
  • Подход преодолевает разрыв между обучением моделей на плотных данных и необходимостью их эффективного инференса в продакшене.