Lernen eines dynamischen Netzwerks mittels einer Wiederverwendungs-Gate-Funktion in der semi-supervidierten Videoobjektsegmentierung

Aktuelle modernste Ansätze für die semi-supervidierte Videoobjektsegmentierung (Semi-VOS) propagieren Informationen aus vorherigen Frames, um eine Segmentierungsmaske für den aktuellen Frame zu erzeugen. Dies führt zu qualitativ hochwertigen Segmentierungen in herausfordernden Szenarien wie Änderungen im Aussehen und Verdeckung. Es führt jedoch auch zu unnötigen Berechnungen für stationäre oder langsam bewegte Objekte, bei denen die Veränderung zwischen den Frames minimal ist. In dieser Arbeit nutzen wir diese Beobachtung, indem wir zeitliche Informationen verwenden, um Frames mit minimalen Veränderungen schnell zu identifizieren und den ressourcenintensiven Generierungsschritt der Maske zu überspringen. Um diese Effizienz zu realisieren, schlagen wir ein neuartiges dynamisches Netzwerk vor, das die Veränderung zwischen den Frames schätzt und entscheidet, welchen Pfad – ob die Berechnung eines vollständigen Netzwerks oder die Wiederverwendung der Merkmale des vorherigen Frames – je nach erwarteter Ähnlichkeit gewählt werden soll. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Inferenzgeschwindigkeit erheblich verbessert, ohne dass die Genauigkeit bei herausfordernden Semi-VOS-Datensätzen – DAVIS 16, DAVIS 17 und YouTube-VOS – stark leidet. Darüber hinaus kann unser Ansatz auf mehrere Semi-VOS-Methoden angewendet werden, was seine Allgemeingültigkeit zeigt. Der Code ist verfügbar unter https://github.com/HYOJINPARK/ReuseVOS.