Deformable ConvNets V2: Deformierbarer, Bessere Ergebnisse

Die überlegene Leistung deformierbarer konvolutionaler Netzwerke ergibt sich aus ihrer Fähigkeit, sich an die geometrischen Variationen von Objekten anzupassen. Durch eine Untersuchung ihres adaptiven Verhaltens beobachten wir, dass, während die räumliche Unterstützung für ihre neuronalen Merkmale enger an die Objektstruktur angepasst ist als bei regulären ConvNets, diese Unterstützung dennoch weit über den relevanten Bereich hinausgehen kann, wodurch Merkmale von irrelevanten Bildinhalten beeinflusst werden. Um dieses Problem anzugehen, präsentieren wir eine Reformulierung der deformierbaren ConvNets, die ihre Fähigkeit verbessert, sich auf relevante Bildregionen zu konzentrieren, durch erhöhte Modellierungskraft und stärkere Schulung. Die Modellierungskraft wird durch eine umfassendere Integration der deformierbaren Faltung innerhalb des Netzwerks und durch die Einführung eines Modulationsmechanismus, der den Umfang der Deformationsmodellierung erweitert, erhöht. Um diese erweiterte Modellierungsfähigkeit effektiv zu nutzen, leiten wir das Netzwerktraining über ein vorgeschlagenes Merkmalsnachahmungsschema, das dem Netzwerk hilft, Merkmale zu lernen, die den Objektfokus und die Klassifikationsfähigkeit der R-CNN-Merkmale widerspiegeln. Mit den vorgeschlagenen Beiträgen erzielt diese neue Version der deformierbaren ConvNets signifikante Leistungssteigerungen gegenüber dem ursprünglichen Modell und liefert führende Ergebnisse im COCO-Benchmark für Objekterkennung und Instanzsegmentierung.