U-Mamba : Améliorer la dépendance à longue portée pour la segmentation d'images biomédicales

Les réseaux de neurones convolutionnels (CNN) et les Transformers ont été les architectures les plus populaires pour la segmentation d'images biomédicales, mais tous deux ont une capacité limitée à gérer les dépendances à longue portée en raison de la localité inhérente ou de la complexité computationnelle. Pour relever ce défi, nous introduisons U-Mamba, un réseau polyvalent pour la segmentation d'images biomédicales. Inspiré par les modèles de séquences d'état (SSMs), une nouvelle famille de modèles de séquences profonds connus pour leur forte capacité à gérer de longues séquences, nous concevons un bloc hybride CNN-SSM qui intègre le pouvoir d'extraction des caractéristiques locales des couches convolutionnelles avec les capacités des SSM à capturer la dépendance à longue portée. De plus, U-Mamba bénéficie d'un mécanisme d'auto-configuration, lui permettant de s'adapter automatiquement à divers ensembles de données sans intervention manuelle. Nous menons des expériences approfondies sur quatre tâches diverses, y compris la segmentation d'organes abdominaux en 3D dans des images CT et MR, la segmentation d'instruments dans des images d'endoscopie, et la segmentation de cellules dans des images de microscopie. Les résultats révèlent que U-Mamba surpasse les réseaux de segmentation basés sur CNN et Transformer à la pointe de la technologie dans toutes les tâches. Cela ouvre de nouvelles avenues pour un modélisation efficace de la dépendance à longue portée dans l'analyse d'images biomédicales. Le code, les modèles et les données sont disponibles publiquement sur https://wanglab.ai/u-mamba.html.