De las partituras musicales a las grabaciones de audio: Representaciones profundas de clases de tonos para medir estructuras tonales

La disponibilidad de datos musicales digitales en varias modalidades ofrece oportunidades tanto para el disfrute de la música como para la investigación musical. En cuanto a esta última, el análisis asistido por computadora de las estructuras tonales es un tema central. Para la música clásica occidental, los estudios suelen depender de partituras legibles por máquina, que son tediosas de crear para obras de gran escala y corpora exhaustivos. Como alternativa, las grabaciones de audio musical, que están fácilmente disponibles, se pueden analizar con métodos computacionales. Con este artículo, queremos cerrar la brecha entre las mediciones basadas en partituras y las basadas en audio de las estructuras tonales aprovechando el poder de las redes neuronales profundas. Tales redes se entrenan comúnmente de manera integral, lo que introduce sesgos hacia el repertorio de entrenamiento o hacia anotadores específicos. Para superar estos problemas, proponemos una estrategia de múltiples pasos. Primero, calculamos representaciones de clases de tonos de las grabaciones de audio utilizando redes entrenadas en pares de partituras-audio. En segundo lugar, medimos la presencia de estructuras tonales específicas utilizando una técnica de coincidencia de patrones que se basa únicamente en el conocimiento de teoría musical y no requiere datos de entrenamiento anotados. En tercer lugar, destacamos estas mediciones con visualizaciones interactivas, dejando la interpretación a los expertos musicológicos. Nuestros experimentos sobre el ciclo de gran escala de Richard Wagner, Der Ring des Nibelungen, indican que las representaciones profundas de clases de tonos conducen a una alta similitud entre las mediciones basadas en partituras y las basadas en audio de las estructuras tonales, demostrando así cómo aprovechar los datos multimodales para escenarios de aplicación en las humanidades computacionales, donde una metodología explícita e interpretable es esencial.