Исследователи представили Equivariant Music Transformer — архитектуру, решающую проблему неспособности стандартных трансформеров сохранять инвариантность при сдвигах музыкальных фрагментов по времени или высоте тона. В отличие от классических моделей, которые при масштабировании теряют способность распознавать транспонированные или смещенные мелодии как идентичные, новая модель эффективно учитывает эквивариантность, обеспечивая более глубокое понимание музыкальных паттернов и их логических связей.

Стандартные трансформеры при обработке аудиоданных часто рассматривают сдвинутые по тональности или времени фрагменты как принципиально разные объекты. Это приводит к тому, что модель не «узнает» одну и ту же мелодию в разных ключах. Авторы работы доказывают, что по мере увеличения параметров и длительности обучения стандартные модели становятся всё менее устойчивыми к таким трансформациям, что ограничивает их способность к генерации гармонически связных композиций.

Предложенный подход внедряет механизмы эквивариантности непосредственно в структуру внимания (attention mechanism). Это позволяет модели выучивать представления, которые остаются стабильными независимо от того, в какой тональности или временном интервале звучит музыкальная фраза. Такой метод значительно повышает качество генерации музыки, делая её более структурированной и предсказуемой с точки зрения теории музыки.

Ключевые факты

  • Стандартные трансформеры при масштабировании демонстрируют снижение эквивариантности, что ведет к потере связи между сдвинутыми музыкальными данными.
  • Новая архитектура Equivariant Music Transformer принудительно сохраняет инвариантность представлений при транспонировании по высоте тона и временных сдвигах.
  • Исследование подтверждает, что текущие методы обучения LLM для музыки не учитывают фундаментальные принципы музыкальной теории, что решается через модификацию слоев внимания.
  • Метод позволяет моделям лучше распознавать идентичные музыкальные темы, представленные в разных контекстах, что критически важно для длинных музыкальных последовательностей.