arXiv · 06.08.2026 ·Исследования и наука

SheetSage-A2S: новый датасет для транскрипции популярной музыки в ноты

Исследователи представили SheetSage-A2S — специализированный датасет для автоматического перевода аудиозаписей популярной музыки в нотную запись. В отличие от существующих систем, сфокусированных на классических произведениях, этот набор данных охватывает более 60 часов аудиоматериала и 9,4 тысячи клипов, что позволяет значительно расширить возможности машинного обучения в области музыкальной транскрипции и анализа современных композиций.

Традиционные системы транскрипции (A2S) часто сталкиваются с трудностями при обработке популярной музыки из-за сложной структуры аранжировок и обилия инструментов. Новый датасет включает разметку в формате **kern, что обеспечивает высокую точность представления музыкальных данных. Использование предобученных признаков и методов аугментации данных в сочетании с этим набором позволяет моделям эффективнее распознавать нотный текст в условиях реальных студийных записей.

Разработка направлена на преодоление разрыва между академическими исследованиями в области Music Information Retrieval (MIR) и практическими задачами обработки современной музыки. Наличие стандартизированного набора данных такого объема дает исследователям возможность обучать нейросети, способные корректно интерпретировать гармонические и ритмические структуры популярных жанров, которые ранее оставались вне зоны досягаемости автоматизированных систем.

Ключевые факты

Датасет содержит 61 час аудиозаписей, разбитых на 9 468 отдельных фрагментов.
В набор данных вошли 6 066 уникальных песен, представляющих популярную музыку.
Все аудиозаписи сопровождаются нотными кодировками в формате **kern.
Исследование фокусируется на решении проблемы нехватки данных для обучения моделей транскрипции вне классического музыкального репертуара.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Представлен датасет MulTTiPop для автоматической транскрипции музыки Исследователи представили MulTTiPop — специализированный набор данных, включающий 572 сегмента поп-музыки и соответствующие им многодорожечные MIDI-записи. Датасет общим объемом 3,5 часа аудио предназначен для обучения и оценки моделей автоматической транскрипции музыки (AMT). В выборку вошли композиции различных жанров, охватывающие период с 1930-х по 2000-е годы, что обеспечивает высокую вариативность музыкального материала для тестирования алгоритмов. The Verge · Данные и инжиниринг The Atlantic открыл доступ к базе данных музыкальных треков для обучения ИИ Издание The Atlantic опубликовало поисковую базу данных, содержащую информацию о музыкальных композициях, которые использовались для обучения нейросетей. Журналист Алекс Рейснер проанализировал четыре крупных набора данных, которые ранее применялись разработчиками ИИ-моделей для генерации аудиоконтента. Lobsters · Данные и инжиниринг Создание систем семантического поиска по аудио на базе глубокого обучения Команда Jina AI представила практическое руководство по созданию поисковых систем для аудиоданных, использующих нейросетевые эмбеддинги. Решение позволяет находить похожие аудиофрагменты в больших массивах данных, опираясь на их семантическое содержание, а не только на метаданные. Инструментарий демонстрирует процесс векторизации звука и интеграцию в поисковые пайплайны для обработки неструктурированного аудиоконтента. arXiv · Обучение и дообучение Новый датасет для улучшения аудио-языковых моделей Исследователи представили AudioDER — новый датасет, предназначенный для улучшения способностей аудио-языковых моделей (LALMs) к сложному аудио-рассуждению. LALMs уже демонстрируют высокие результаты в различных задачах понимания аудио, но их возможности в области сложного анализа и интерпретации звуковых данных остаются ограниченными. arXiv · Исследования и наука Agogic: новый подход к токенизации музыки для языковых моделей Исследователи представили метод Agogic, оптимизирующий представление музыкальных данных для LLM. Авторы проанализировали влияние семи различных способов токенизации на качество генерации музыки, зафиксировав архитектуру модели Qwen3.5, объем обучающих данных и вычислительный бюджет. Результаты показывают, что выбор способа представления музыкальных символов критически влияет на итоговую производительность модели, задавая теоретический предел её возможностей. Hacker News · Оценка и бенчмарки Новый подход к оценке генеративных моделей музыки Исследователи предложили отойти от использования статических лидербордов при оценке генеративных музыкальных ИИ-моделей. Вместо фиксированных наборов данных авторы предлагают динамическую парадигму оценки, которая учитывает контекстуальные особенности музыки, субъективное восприятие качества и функциональную пригодность аудиоконтента. Это позволяет более точно определять реальную эффективность моделей в творческих задачах, выходя за рамки простых метрик сходства. Hacker News · Данные и инжиниринг Выпущен датасет CS2-10k для обучения ИИ-агентов в игровых средах Компания Reka AI представила CS2-10k — масштабный набор данных, содержащий 10 000 часов записей игрового процесса Counter-Strike 2 от первого лица. Датасет включает синхронизированные видеопотоки, данные о действиях игроков и внутриигровые события. Этот ресурс предназначен для обучения мультимодальных моделей пониманию сложных динамических сред и принятию решений в реальном времени, что является важным шагом для развития агентных систем. arXiv · Оценка и бенчмарки MetaSyn: новый датасет для тестирования ИИ-агентов на мета-анализах Исследователи представили новый датасет MetaSyn, предназначенный для оценки способностей ИИ-агентов проводить мета-анализ — сложный процесс синтеза данных, включающий поиск литературы, отбор исследований и статистический анализ. Этот процесс требует системного и проверяемого подхода, что делает его идеальным для тестирования научного мышления агентов. arXiv · Исследования и наука MetaPerch: использование метаданных для улучшения биоакустических моделей Исследователи представили MetaPerch — метод обучения фундаментальных моделей для биоакустики, использующий богатые метаданные из краудсорсинговых платформ. В отличие от стандартных подходов, опирающихся только на аудиосигналы, новый метод задействует контекстную информацию о записях, что позволяет значительно повысить точность классификации видов и эффективность распознавания звуков дикой природы в сложных экологических условиях. arXiv · Исследования и наука Reflector: ИИ-система для адаптивного поиска музыкальных сэмплов Исследователи представили Reflector — интерактивную рабочую станцию, которая автоматизирует подбор гармонически совместимых аудиосэмплов в процессе композиции. В отличие от статических инструментов поиска, система отслеживает изменения в аранжировке на временной шкале и динамически адаптирует выдачу результатов, учитывая накопленный гармонический контекст каждого музыкального решения, принятого автором в ходе работы над треком.

← Все материалы