Des RNN aux BERT : Une revue des modèles neuronaux pour l'apprentissage de séquences

L'apprentissage des données séquentielles est important dans les domaines de l'apprentissage automatique, y compris la reconnaissance vocale, le traitement du langage naturel et la prédiction des séries temporelles. Diverses approches ont été proposées ces dernières années pour gérer ces tâches. Les premiers modèles comme le Réseau de Neurones Récurrent (RNN) pouvaient traiter des informations séquentielles mais ont rencontré des problèmes de gradients évanescents et explosifs. Ces problèmes ont finalement été résolus avec l'introduction de la Mémoire à Long Terme (LSTM) et de l'Unité Récurrente Gérée (GRU), qui ont amélioré la capacité d'apprentissage des dépendances à long terme. La proposition des mécanismes d'attention a encore amélioré les performances des GRU et a conduit le modèle Transformer à remplacer la récursivité par l'attention, rendant l'entraînement plus rapide et plus efficace pour les données à grande échelle. De plus, BERT a utilisé des méthodes de pré-entraînement et d'affinement qui ont apporté une amélioration remarquable dans de nombreuses tâches de PLN. Cet article passe en revue le développement de ces modèles, introduit les mécanismes de chaque modèle, compare leurs forces et faiblesses, et enfin discute des défis qui persistent.