Déjeuner économique pour la segmentation d'images médicales en ajustant SAM sur quelques exemplaires

Le modèle Segment Anything (SAM) a démontré des capacités remarquables des modèles de segmentation à grande échelle, permettant une généralisation zéro-shot à travers une variété de domaines. En s'appuyant sur des modèles fondamentaux à grande échelle en tant que modèles pré-entraînés, il est logique de peaufiner SAM pour des domaines spécifiques afin d'améliorer encore les performances. Cependant, l'adoption de modèles fondamentaux dans le domaine médical présente un défi en raison de la difficulté et du coût de l'annotation de données suffisantes pour l'adaptation au sein des systèmes hospitaliers. Dans cet article, nous proposons une approche efficace et pratique pour le peaufinement de SAM en utilisant un nombre limité d'exemplaires, ce qui la rend adaptée à de tels scénarios. Notre approche combine deux techniques établies de la littérature : un module de synthèse guidée par des exemplaires et la stratégie de peaufinement largement reconnue Low-Rank Adaptation (LoRA), servant d'essais au niveau des données et au niveau du modèle respectivement. Fait intéressant, nos résultats empiriques suggèrent que SAM peut être efficacement aligné au sein du domaine médical même avec peu de données étiquetées. Nous validons notre approche à travers des expériences sur la segmentation des tumeurs cérébrales (BraTS) et la segmentation multi-organes par CT (Synapse). Les résultats complets soulignent la faisabilité et l'efficacité d'une telle approche, ouvrant la voie à l'application pratique de SAM dans le domaine médical.