Extraction interactive de mélodie chantée basée sur une adaptation active

L'extraction de la hauteur prédominante à partir d'audio polyphonique est l'une des tâches fondamentales dans le domaine de la récupération d'informations musicales et de la musicologie computationnelle. Pour accomplir cette tâche en utilisant l'apprentissage automatique, une grande quantité de données audio étiquetées est nécessaire pour entraîner le modèle. Cependant, un modèle classique pré-entraîné sur des données d'un domaine (source), par exemple, les chansons d'un chanteur ou d'un genre particulier, peut ne pas bien performer dans l'extraction de mélodie d'autres domaines (cible). Les performances de tels modèles peuvent être améliorées en adaptant le modèle en utilisant très peu de données annotées du domaine cible. Dans ce travail, nous proposons une méthode d'adaptation de mélodie interactive efficace. Notre méthode sélectionne les régions dans l'audio cible qui nécessitent une annotation humaine en utilisant un critère de confiance basé sur la probabilité de classe réelle normalisée. Les annotations sont utilisées par le modèle pour s'adapter au domaine cible en utilisant l'apprentissage par méta-apprentissage. Notre méthode propose également une nouvelle approche de méta-apprentissage qui gère le déséquilibre de classe, c'est-à-dire que quelques échantillons représentatifs de quelques classes sont disponibles pour l'adaptation dans le domaine cible. Les résultats expérimentaux montrent que la méthode proposée surpasse d'autres bases de référence pour l'extraction de mélodie adaptative. La méthode proposée est indépendante du modèle et peut donc être appliquée à d'autres modèles d'extraction de mélodie non adaptatifs pour améliorer leurs performances. De plus, nous avons publié un ensemble de données Hindustani Alankaar et Raga (HAR) contenant 523 fichiers audio d'environ 6,86 heures de durée destinés aux tâches d'extraction de mélodie chantée.