Champ aléatoire conditionnel récurrent pour la compréhension du langage

Les réseaux de neurones récurrents (RNN) ont récemment produit des performances record dans les tâches de modélisation du langage et d'étiquetage de mots. Dans la tâche d'étiquetage de mots, le RNN est utilisé de manière analogue au champ aléatoire conditionnel (CRF) plus traditionnel pour attribuer une étiquette à chaque mot dans une séquence d'entrée, et il a été démontré qu'il surpasse de manière significative les CRF. Contrairement aux CRF, les RNN fonctionnent de manière en ligne pour attribuer des étiquettes dès qu'un mot est vu, plutôt qu'après avoir vu toute la séquence de mots. Dans cet article, nous montrons que la performance d'un étiqueteur RNN peut être considérablement améliorée en incorporant des éléments du modèle CRF ; en particulier, la modélisation explicite des dépendances entre les étiquettes de sortie avec des caractéristiques de transition, sa fonction objective au niveau de la séquence globale et le décodage hors ligne. Nous appelons le modèle résultant un « champ aléatoire conditionnel récurrent » et démontrons son efficacité sur le dataset du domaine de voyage ATIS et une variété de datasets de compréhension du langage dans la recherche sur le web.