RefConv: Reparametrisierte Refokussierungskonvolution für leistungsstarke ConvNets

Wir schlagen die reparametrisierte Refokussierungskonvolution (RefConv) als Ersatz für reguläre konvolutionale Schichten vor, die ein Plug-and-Play-Modul ist, um die Leistung ohne zusätzliche Inferenzkosten zu verbessern. Konkret wendet RefConv, gegeben ein vortrainiertes Modell, eine trainierbare Refokussierungstransformation auf die Basiskerne an, die vom vortrainierten Modell übernommen wurden, um Verbindungen zwischen den Parametern herzustellen. Beispielsweise kann eine tiefengeteilte RefConv die Parameter eines bestimmten Kanals des Konvolutionskerns mit den Parametern des anderen Kerns in Beziehung setzen, d.h. sie darauf ausrichten, auf die anderen Teile des Modells zu fokussieren, die sie bisher ignoriert haben, anstatt sich nur auf die Eingabefeatures zu konzentrieren. Aus einer anderen Perspektive erweitert RefConv die Priors bestehender Modellstrukturen, indem es die in den vortrainierten Parametern kodierten Darstellungen als Priors nutzt und sich auf sie fokussiert, um neuartige Darstellungen zu lernen, wodurch die repräsentative Kapazität des vortrainierten Modells weiter verbessert wird. Die experimentellen Ergebnisse bestätigten, dass RefConv mehrere auf konvolutionalen neuronalen Netzen (CNNs) basierende Modelle durch einen deutlichen Unterschied bei der Bildklassifizierung (bis zu 1,47% höhere Top-1-Genauigkeit auf ImageNet), Objekterkennung, semantische Segmentierung und adversarial Angriffe verbessern kann, ohne zusätzliche Inferenzkosten einzuführen oder die ursprüngliche Modellstruktur zu verändern. Weitere Studien zeigten, dass RefConv die räumlichen Skelette der Kerne stärken, die Redundanz der Kanäle reduzieren und die Verlustlandschaft glätten kann, was seine Wirksamkeit erklärt.