Modèle d'Espace d'État pour un Réseau de Nouvelle Génération Alternatif aux Transformateurs : Une Enquête

Dans l'ère post-apprentissage profond, l'architecture Transformer a démontré ses performances puissantes à travers des modèles pré-entraînés et diverses tâches en aval. Cependant, les énormes exigences computationnelles de cette architecture ont découragé de nombreux chercheurs. Pour réduire davantage la complexité des modèles d'attention, de nombreux efforts ont été faits pour concevoir des méthodes plus efficaces. Parmi eux, le Modèle d'Espace d'État (SSM), en tant que remplacement possible du modèle Transformer basé sur l'auto-attention, a attiré de plus en plus d'attention ces dernières années. Dans cet article, nous proposons la première revue complète de ces travaux et fournissons également des comparaisons expérimentales et une analyse pour mieux démontrer les caractéristiques et les avantages du SSM. Plus précisément, nous donnons d'abord une description détaillée des principes pour aider les lecteurs à saisir rapidement les idées clés du SSM. Ensuite, nous examinons les SSM existants et leurs diverses applications, y compris le traitement du langage naturel, la vision par ordinateur, les graphes, le multimédia et le multi-modal, les nuages de points/flux d'événements, les données de séries chronologiques et d'autres domaines. De plus, nous proposons des comparaisons statistiques et une analyse de ces modèles et espérons que cela aidera les lecteurs à comprendre l'efficacité des différentes structures sur diverses tâches. Ensuite, nous proposons des points de recherche possibles dans cette direction pour mieux promouvoir le développement du modèle théorique et l'application du SSM. De nombreux travaux connexes seront continuellement mis à jour sur le GitHub suivant : https://github.com/Event-AHU/MambaStateSpaceModelPaperList.