WaterSAM: Anpassung von SAM für die Segmentierung unter Wasser

Die Objektsegmentierung, eine Schlüsselart der Bildsegmentierung, konzentriert sich auf die Erkennung und Abgrenzung individueller Objekte innerhalb eines Bildes, was für Anwendungen wie robotische Vision und Augmented Reality unerlässlich ist. Trotz der Fortschritte im Deep Learning, die die Objektsegmentierung verbessert haben, bleibt die Segmentierung unter Wasser aufgrund einzigartiger Herausforderungen wie Turbulenzdiffusion, Lichtabsorption, Rauschen, niedrigen Kontrasten, ungleichmäßiger Beleuchtung und komplexen Hintergründen schwierig. Der Mangel an Unterwasser-Datensätzen erschwert diese Herausforderungen zusätzlich. Das Segment Anything Model (SAM) hat Potenzial gezeigt, um diese Probleme anzugehen, aber seine Anpassung an Unterwasserumgebungen, AquaSAM, erfordert die Feinabstimmung aller Parameter, was mehr beschriftete Daten und hohe Rechenkosten erfordert. In diesem Papier schlagen wir WaterSAM vor, ein angepasstes Modell für die Segmentierung unter Wasser. Inspiriert von der Low-Rank-Anpassung (LoRA) integriert WaterSAM trainierbare Rangzerlegungsmatrizen in die Schichten des Transformers und verbessert insbesondere den Bildeencoder. Dieser Ansatz reduziert die Anzahl der trainierbaren Parameter auf 6,7 % der Parameter von SAM und senkt die Rechenkosten. Wir haben WaterSAM an drei Unterwasser-Bilddatensätzen validiert: COD10K, SUIM und UIIS. Die Ergebnisse zeigen, dass WaterSAM die vortrainierte SAM bei Aufgaben der Segmentierung unter Wasser erheblich übertrifft und zu Fortschritten in der Meeresbiologie, der Unterwasserarchäologie und der Umweltüberwachung beiträgt.