S-SAM: SVD-basierte Feinabstimmung des Segment Anything Modells für die medizinische Bildsegmentierung

Die medizinische Bildsegmentierung wurde traditionell durch das Training oder die Feinabstimmung des gesamten Modells angegangen, um jeder neuen Modalität oder jedem neuen Datensatz gerecht zu werden. Dieser Ansatz erfordert jedoch häufig die Abstimmung einer großen Anzahl von Parametern während des Trainings. Mit der Einführung des Segment Anything Modells (SAM) für die angeregte Segmentierung von Naturbildern wurden viele Anstrengungen unternommen, um es effizient für die medizinische Bildgebung anzupassen, wodurch die Trainingszeit und die Ressourcen reduziert werden. Allerdings erfordern diese Methoden weiterhin Expertenannotationen für jedes Bild in Form von Punktprompts oder Begrenzungsrahmenprompts während des Trainings und der Inferenz, was die Anwendung in der Praxis mühsam macht. In diesem Papier schlagen wir eine Anpassungstechnik vor, die S-SAM genannt wird, die nur Parameter in Höhe von 0,4 % der SAM-Parameter trainiert und gleichzeitig einfach die Bezeichner als Prompts zur Erstellung präziser Masken verwendet. Dies macht nicht nur die Feinabstimmung von SAM effizienter als die bestehenden Anpassungsmethoden, sondern beseitigt auch die Notwendigkeit, Expertenprompts bereitzustellen. Wir nennen diese modifizierte Version S-SAM und evaluieren sie an fünf verschiedenen Modalitäten, einschließlich endoskopischer Bilder, Röntgenbildern, Ultraschall, CT- und Histologiebildern. Unsere Experimente zeigen, dass S-SAM state-of-the-art Methoden sowie bestehende SAM-Anpassungsmethoden übertrifft, während eine deutlich geringere Anzahl von Parametern abgestimmt wird. Wir veröffentlichen den Code für S-SAM unter https://github.com/JayParanjape/SVDSAM.