Malgré le grand succès de la compréhension du langage parlé (SLU) dans les langues à ressources élevées, cela reste un défi dans les langues à faibles ressources principalement en raison du manque de données d'entraînement étiquetées. L'approche récente de code-switching multilingue obtient de meilleures alignements des représentations des modèles à travers les langues en construisant un contexte linguistique mixte dans le SLU inter-langues sans apprentissage préalable. Cependant, les méthodes actuelles de code-switching sont limitées à un alignement implicite et ignorent la structure sémantique inhérente dans le SLU, c'est-à-dire l'inclusion hiérarchique des énoncés, emplacements et mots. Dans cet article, nous proposons de modéliser la structure énoncé-emplacement-mot par un cadre d'apprentissage contrastif multi-niveaux au niveau des énoncés, des emplacements et des mots pour faciliter un alignement explicite. De nouveaux schémas de code-switching sont introduits pour générer des exemples négatifs difficiles pour notre cadre d'apprentissage contrastif. De plus, nous développons un modèle conjoint sensible aux étiquettes tirant parti de la sémantique des étiquettes pour améliorer l'alignement implicite et alimenter l'apprentissage contrastif. Nos résultats expérimentaux montrent que nos méthodes proposées améliorent considérablement la performance par rapport à des références solides sur deux ensembles de données de référence SLU inter-langues sans apprentissage préalable.
Liang et al. (Samedi) ont étudié cette question.