MarkTechPost · 10.07.2026 ·Модели и релизы

Kyutai представила MuScriptor: модель для транскрипции музыки в MIDI

Лаборатория Kyutai совместно с Mirelo выпустила MuScriptor — открытую модель на архитектуре decoder-only Transformer, предназначенную для автоматической транскрипции многоинструментальных аудиозаписей в формат MIDI. Система способна распознавать сложные музыкальные композиции, преобразуя их в структурированные данные, что открывает новые возможности для анализа аудио и работы с цифровыми партитурами в профессиональных музыкальных инструментах и исследовательских проектах.

В основе MuScriptor лежит трехэтапный конвейер обработки, который позволяет модели эффективно разделять партии различных инструментов в миксе. Обучение проходило на масштабном наборе данных, включающем как реальные студийные записи, так и синтезированные MIDI-файлы. Такой подход позволил добиться высокой точности распознавания по сравнению с существующими аналогами, такими как YourMT3+, особенно в задачах с большим количеством одновременно звучащих инструментов.

Модель поддерживает функцию инструментального кондиционирования, позволяя пользователям направлять процесс транскрипции для получения более точных результатов. Разработчики также предоставили интерактивное демо, где можно протестировать возможности системы в реальном времени. Открытый доступ к весам модели делает её значимым инструментом для разработчиков аудио-технологий и специалистов в области обработки сигналов.

Ключевые факты

Архитектура: decoder-only Transformer с поддержкой многоинструментальной транскрипции.
Обучающая выборка: 170 000 реальных аудиозаписей и 1,45 млн синтезированных MIDI-файлов.
Основная функция: преобразование сложных аудиомиксов в редактируемые MIDI-партитуры.
Сравнение: модель превосходит решение YourMT3+ по метрикам точности распознавания инструментов.
Доступность: открытые веса модели доступны для использования и интеграции.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Представлен датасет MulTTiPop для автоматической транскрипции музыки Исследователи представили MulTTiPop — специализированный набор данных, включающий 572 сегмента поп-музыки и соответствующие им многодорожечные MIDI-записи. Датасет общим объемом 3,5 часа аудио предназначен для обучения и оценки моделей автоматической транскрипции музыки (AMT). В выборку вошли композиции различных жанров, охватывающие период с 1930-х по 2000-е годы, что обеспечивает высокую вариативность музыкального материала для тестирования алгоритмов. MarkTechPost · Модели и релизы NVIDIA представила Audex: мультимодальную модель для работы с аудио и текстом NVIDIA выпустила Audex (Nemotron-Labs-Audex-30B-A3B) — универсальную мультимодальную модель на архитектуре Mixture-of-Experts (MoE). Система объединяет возможности распознавания речи, перевода, синтеза звука и генерации текста. Ключевой особенностью стало сохранение высоких когнитивных способностей базовой модели Nemotron-Cascade-2 при минимальном снижении производительности в текстовых задачах, что делает её эффективным инструментом для комплексной обработки аудиовизуальных данных. arXiv · Исследования и наука LeVo 2: новый подход к генерации полноценных музыкальных композиций Исследователи представили LeVo 2 — модель для генерации полноформатных песен, решающую проблему баланса между вокальной выразительностью и качеством инструментального сопровождения. Система использует иерархическое моделирование представлений и прогрессивное дообучение, что позволяет сохранять музыкальную связность и точно следовать заданным текстам и стилистическим промптам, преодолевая ограничения существующих языковых моделей в работе с многодорожечными аудиоданными. Hacker News · Модели и релизы Meta представила архитектуру Muse для генерации изображений и видео Компания Meta (признана экстремистской организацией, деятельность запрещена в РФ) анонсировала семейство моделей Muse, использующих архитектуру Masked Generative Transformer. В отличие от диффузионных моделей, Muse работает с токенами в пространстве признаков, что обеспечивает высокую скорость генерации изображений и видео при сохранении качества, сопоставимого с современными аналогами, и поддержке редактирования контента через текстовые промпты. Hacker News · Инфраструктура для агентов Muxer: open-source мультиплексор моделей для Claude Code Muxer — это инструмент с открытым исходным кодом, предназначенный для управления запросами к различным LLM в рамках среды Claude Code. Решение позволяет динамически переключаться между моделями, оптимизируя рабочие процессы разработки и обеспечивая гибкость при интеграции агентных систем в существующие IDE и CLI-инструменты, что упрощает масштабирование и тестирование различных конфигураций инференса. arXiv · Исследования и наука Гибридная архитектура для генерации музыкальной гармонии Исследователи представили гибридную архитектуру для автоматической генерации музыкальной гармонии на основе заданной мелодии. Система объединяет квантово-вдохновленные методы поиска кандидатов с жесткими правилами оптимизации. Такой подход позволяет достичь баланса между творческой гибкостью генеративных моделей и строгим соблюдением музыкальной структуры, обеспечивая предсказуемость и высокое качество композиций в автоматизированных творческих процессах. Lobsters · ИИ в бизнесе Мультиагентные системы в творческих процессах: опыт генерации музыки Исследователи представили концепцию «агентной симфонии», демонстрирующую, как мультиагентные системы могут совместно создавать сложные музыкальные композиции. В этой модели отдельные ИИ-агенты берут на себя специализированные роли — от композитора до звукорежиссера, взаимодействуя друг с другом для достижения эмерджентного результата. Проект иллюстрирует потенциал агентных архитектур в автоматизации творческих задач, требующих многоэтапного планирования и согласования действий между независимыми компонентами системы. Hacker News · Инфраструктура для агентов Makoto: инструмент для верификации действий ИИ-агентов Makoto — это новый инструмент для мониторинга и отладки ИИ-агентов, который сопоставляет заявленные намерения модели с её фактически выполненными действиями. Система анализирует логи выполнения задач и выявляет расхождения, предотвращая ситуации, когда агент сообщает об успешном завершении этапа, не совершив необходимых операций в целевой среде. arXiv · Машинное обучение Новый взгляд на оптимизатор Muown для обучения трансформеров Исследователи проанализировали математические принципы работы оптимизатора Muown, который активно применяется для предварительного обучения трансформеров. Этот метод разделяет весовые матрицы на два компонента: амплитуды строк и ненормализованное направление. Для обновления амплитуд используется алгоритм Adam, а для направления — оптимизатор Muon. Такая архитектура позволяет эффективно управлять процессом обучения, обеспечивая высокую стабильность и скорость сходимости моделей. Hacker News · Оркестрация агентов Оптимальная маршрутизация моделей для Claude, Codex и Cursor Проект Router предлагает решение для динамической маршрутизации запросов между различными LLM, обеспечивая выбор наиболее подходящей модели в реальном времени. Инструмент интегрируется с популярными средами разработки, такими как Cursor, и API-интерфейсами вроде Claude, позволяя оптимизировать затраты и качество ответов за счет автоматического перенаправления задач на менее или более мощные модели в зависимости от сложности запроса.

← Все материалы