Alignement de mots non supervisé contrastif avec des caractéristiques non locales

L'alignement des mots est une tâche importante en traitement du langage naturel qui indique la correspondance entre les langues naturelles. Récemment, l'apprentissage non supervisé de modèles log-linéaires pour l'alignement des mots a reçu une attention considérable car il combine les avantages des approches génératives et discriminatives. Cependant, un défi majeur demeure : il est intractable de calculer les attentes des caractéristiques non locales qui sont critiques pour capturer la divergence entre les langues naturelles. Nous proposons une approche contrastive qui vise à différencier les exemples d'apprentissage observés du bruit. Elle introduit non seulement des connaissances préalables pour guider l'apprentissage non supervisé, mais annule également les fonctions de partition. Basé sur l'observation que la masse de probabilité des modèles log-linéaires pour l'alignement des mots est généralement très concentrée, nous proposons d'utiliser les alignements top-n pour approcher les attentes par rapport aux distributions postérieures. Cela permet un calcul efficace et précis des attentes des caractéristiques non locales. Les expériences montrent que notre approche réalise des améliorations significatives par rapport aux méthodes d'alignement de mots non supervisées à la pointe de la technologie.