Überbrückung der Kluft zwischen Objekt- und Bildebene-Repräsentationen für die Open-Vocabulary-Erkennung

Vorhandene Open-Vocabulary-Objekterkenner vergrößern typischerweise ihre Wortschatzgrößen, indem sie verschiedene Formen schwacher Aufsicht nutzen. Dies hilft, auf neuartige Objekte bei der Inferenz zu verallgemeinern. Zwei beliebte Formen der schwachen Aufsicht, die in der Open-Vocabulary-Erkennung (OVD) verwendet werden, umfassen das vortrainierte CLIP-Modell und die Aufsicht auf Bildebene. Wir stellen fest, dass beide diese Aufsichtsmodi für die Erkennungsaufgabe nicht optimal ausgerichtet sind: CLIP wird mit Bild-Text-Paaren trainiert und fehlt an präziser Lokalisierung von Objekten, während die Aufsicht auf Bildebene mit Heuristiken verwendet wurde, die lokale Objektregionen nicht genau angeben. In dieser Arbeit schlagen wir vor, dieses Problem zu lösen, indem wir eine objektzentrierte Ausrichtung der Sprach-Embeddings aus dem CLIP-Modell durchführen. Darüber hinaus grundieren wir die Objekte nur mit Aufsicht auf Bildebene mithilfe eines Pseudo-Labeling-Prozesses, der qualitativ hochwertige Objektvorschläge bietet und hilft, den Wortschatz während des Trainings zu erweitern. Wir etablieren eine Brücke zwischen den beiden oben genannten Objekt-Ausrichtungsstrategien über eine neuartige Gewichtstransferfunktion, die ihre komplementären Stärken aggregiert. Im Wesentlichen zielt das vorgeschlagene Modell darauf ab, die Kluft zwischen objekt- und bildzentrierten Repräsentationen im OVD-Setting zu minimieren. Auf dem COCO-Benchmark erreicht unser vorgeschlagener Ansatz 36,6 AP50 bei neuartigen Klassen, ein absoluter Gewinn von 8,2 gegenüber der vorherigen besten Leistung. Für LVIS übertreffen wir das hochaktuelle ViLD-Modell um 5,0 Masken-AP für seltene Kategorien und 3,4 insgesamt. Code: https://github.com/hanoonaR/object-centric-ovd.