ProMISe : Segmentation d'Images Médicales à Demande utilisant SAM

Avec la proposition du Segment Anything Model (SAM), le réglage fin de SAM pour la segmentation d'images médicales (MIS) est devenu populaire. Cependant, en raison de la grande taille du modèle SAM et de l'écart important entre les images naturelles et médicales, les stratégies basées sur le réglage fin sont coûteuses avec un risque potentiel d'instabilité, de dégradation des caractéristiques et d'oubli catastrophique. De plus, certaines méthodes de transfert de SAM vers une MIS spécifique à un domaine via des stratégies de réglage fin désactivent la capacité de sollicitation du modèle, limitant sévèrement ses scénarios d'utilisation. Dans cet article, nous proposons un Module d'Auto-Solicitation (APM), qui fournit au modèle fondation basé sur SAM des sollicitations adaptatives euclidiennes dans le domaine cible. Nos expériences démontrent que de telles sollicitations adaptatives améliorent significativement la performance de SAM non réglé finement en MIS. En outre, nous proposons une nouvelle méthode non invasive appelée Décalage de Motifs Incrémental (IPS) pour adapter SAM à des domaines médicaux spécifiques. Les résultats expérimentaux montrent que l'IPS permet à SAM d'atteindre des performances à l'état de l'art ou compétitives en MIS sans nécessiter de réglage fin. En couplant ces deux méthodes, nous proposons ProMISe, un cadre de segmentation d'images médicales à demande, de bout en bout et sans réglage fin. Nos expériences démontrent que l'utilisation de nos méthodes individuellement ou en combinaison atteint des performances satisfaisantes dans le décalage de motifs à faible coût, avec tous les paramètres de SAM figés.