Adaptation de Domaine pour les Modèles Audio-Langage Contrastifs

Les Modèles Audio-Langage (MAL) visent à être des modèles audio polyvalents en offrant des capacités zéro-shot au moment des tests. La performance zéro-shot des MAL s'améliore en utilisant des invites textuelles appropriées pour chaque domaine. Les invites textuelles sont généralement fabriquées à la main par un processus ad hoc et entraînent une baisse de la généralisation et de la performance hors distribution des MAL. Les approches existantes pour améliorer la performance par domaine, comme l'apprentissage peu échantillon ou l'ajustement fin, nécessitent un accès à des données annotées et des itérations d'entraînement. Par conséquent, nous proposons une méthode d'adaptation de domaine au moment des tests pour les MAL qui ne nécessite pas d'accès aux annotations. Notre méthode apprend un vecteur de domaine en imposant la cohérence à travers des vues augmentées de l'audio de test. Nous évaluons de manière approfondie notre approche sur 12 tâches en aval à travers différents domaines. Avec juste un exemple, notre méthode d'adaptation de domaine entraîne une amélioration de 3,2 % (maximum 8,4 %) de la performance zéro-shot en moyenne. Après l'adaptation, le modèle conserve toujours la propriété de généralisation des MAL.