Hacker News · 27.07.2026 ·Машинное обучение

Microsoft представила MLVC: нейросетевой кодек для видео в реальном времени

Microsoft опубликовала исходный код MLVC — нейросетевого кодека, оптимизированного для работы на потребительских NPU. Решение обеспечивает эффективное сжатие видео в реальном времени, используя возможности аппаратных ускорителей современных процессоров. Проект направлен на снижение нагрузки на центральный процессор при обработке видеопотоков, сохраняя при этом высокое качество изображения и низкую задержку, что критично для видеосвязи и стриминга.

Традиционные алгоритмы сжатия видео часто требуют значительных вычислительных мощностей, что приводит к быстрому разряду аккумуляторов и перегреву мобильных устройств. Использование нейронных сетей, работающих непосредственно на NPU, позволяет перенести тяжелые задачи кодирования и декодирования на специализированные блоки, освобождая ресурсы CPU и GPU для других процессов. Это решение особенно актуально для ноутбуков и планшетов нового поколения, оснащенных выделенными ИИ-чипами.

Разработка базируется на современных архитектурах нейронных сетей, адаптированных для работы с ограниченными ресурсами памяти и вычислительной мощности. Кодек поддерживает интеграцию в существующие пайплайны обработки видео, предоставляя разработчикам гибкий инструмент для внедрения нейросетевого сжатия в приложения. Исходный код доступен на GitHub, что позволяет сообществу изучать методы оптимизации нейросетей под конкретные аппаратные архитектуры NPU.

Ключевые факты

Проект MLVC разработан Microsoft и опубликован в открытом доступе на GitHub.
Кодек спроектирован для работы на потребительских NPU, что минимизирует нагрузку на CPU.
Основная цель технологии — обеспечение эффективного сжатия видео в реальном времени с низкой задержкой.
Решение ориентировано на повышение энергоэффективности при обработке видео на современных мобильных устройствах и ноутбуках.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Microsoft открыла исходный код MLVC для сжатия видео Microsoft представила ML Video Codec (MLVC) — библиотеку с открытым исходным кодом, предназначенную для эффективного сжатия видео с использованием методов машинного обучения. Решение ориентировано на оптимизацию передачи данных и снижение нагрузки на сетевую инфраструктуру, предлагая альтернативу традиционным алгоритмам кодирования за счет глубокого обучения, что позволяет достичь более высокого качества при меньшем битрейте. Engineering at Meta · Данные и инжиниринг Масштабирование кодека AV1 для видеосвязи в реальном времени Meta (признана экстремистской организацией, деятельность запрещена в РФ) завершила многолетний проект по внедрению кодека AV1 в свои системы видеосвязи в реальном времени. Переход на этот стандарт позволил существенно повысить эффективность сжатия видеопотока, что критически важно для поддержания высокого качества связи при ограниченной пропускной способности сети. Инженеры компании сосредоточились на оптимизации алгоритмов управления скоростью передачи данных и повышении устойчивости к ошибкам при передаче пакетов. Hacker News · Модели и релизы Microsoft представила мультимодальную модель Mage-VL для анализа изображений и видео Microsoft выпустила Mage-VL — новую мультимодальную фундаментальную модель, предназначенную для глубокого понимания визуального контента. Решение способно обрабатывать как статические изображения, так и видеопотоки, демонстрируя высокую точность в задачах распознавания объектов, описания сцен и логического вывода на основе визуальных данных. Модель доступна для исследователей и разработчиков на платформе Hugging Face. arXiv · Исследования и наука Video-SALMONN-R3: новый метод эффективного анализа видео через двухэтапную обработку Исследователи представили Video-SALMONN-R3 — архитектуру для видео-LLM, решающую проблему нехватки вычислительных ресурсов. Вместо обработки всего видео целиком, модель сначала проводит грубый анализ для поиска ключевых сегментов, а затем детально пересматривает их. Такой подход позволяет значительно экономить память и вычислительную мощность, сохраняя высокую точность ответов на вопросы по видеоконтенту. Hacker News · Инфраструктура для агентов Claude-real-video: инструмент для анализа видеопотока любыми LLM Проект Claude-real-video предоставляет инфраструктурное решение для интеграции видеоаналитики в любые LLM, не обладающие нативной поддержкой мультимодальности. Инструмент автоматически извлекает кадры из видеопотока, преобразует их в последовательность изображений и передает в модель для анализа, позволяя агентам «видеть» динамический контент и принимать решения на основе визуальных данных в реальном времени. Hacker News · Инференс и железо Новый ML-компилятор для запуска LLM 70B+ на потребительских GPU Разработчики представили специализированный ML-компилятор, позволяющий запускать крупномасштабные языковые модели с параметрами 70B+ на обычном потребительском оборудовании. Технология оптимизирует процесс вычислений таким образом, что потеря точности модели составляет менее 1%, что делает возможным эффективное использование мощных нейросетей вне серверных кластеров и профессиональных вычислительных центров. Lobsters · Инференс и железо Реверс-инжиниринг компилятора NPU от Qualcomm Исследователи провели детальный анализ работы проприетарного компилятора QAIRT, который используется для подготовки нейросетевых моделей к запуску на NPU (нейронных процессорах) в чипах Qualcomm Snapdragon. В процессе изучения структуры бинарных файлов и промежуточных представлений удалось восстановить логику того, как именно высокоуровневые графы вычислений преобразуются в специфические инструкции для аппаратных ускорителей компании. Hacker News · Машинное обучение Новый математический подход снижает требования к «железу» для ИИ Исследователи предложили новый математический метод оптимизации вычислений, который позволяет значительно снизить нагрузку на аппаратное обеспечение при работе с нейросетями. Замена стандартных операций с плавающей запятой на альтернативные вычисления позволяет сократить потребление ресурсов GPU без потери точности моделей, что открывает путь к более эффективному инференсу на менее мощном оборудовании. Hacker News · Инференс и железо Оптимизация инференса: объединение шагов декодирования 27B модели в один CUDA-ядро Исследователи представили метод оптимизации инференса для 27-миллиардных тернарных LLM, объединяющий весь процесс декодирования в единое CUDA-ядро. Это решение радикально снижает накладные расходы на передачу данных между памятью и вычислительными блоками GPU, позволяя значительно увеличить пропускную способность и скорость генерации токенов при сохранении высокой точности работы квантованных моделей на потребительском и серверном железе. Hacker News · Инференс и железо Стартап PrismML оптимизировал LLM для работы на iPhone Стартап PrismML разработал технологию сжатия крупных языковых моделей, позволяющую запускать их непосредственно на устройствах Apple iPhone. Решение направлено на повышение производительности ИИ-функций при сохранении конфиденциальности данных пользователя, так как обработка запросов происходит локально, без необходимости обращения к облачным серверам. Это важный шаг для интеграции полноценных нейросетевых возможностей в мобильную экосистему.

← Все материалы