Padding-Modul: Lernen des Paddings in tiefen neuronalen Netzen

In den letzten Jahrzehnten wurden viele Studien durchgeführt, um die Leistung von neuronalen Netzen zu verbessern, beispielsweise durch Netzwerkarchitekturen, Initialisierung und Aktivierung. Die Untersuchung der Bedeutung und der Auswirkungen von lernbaren Padding-Methoden im Deep Learning bleibt jedoch relativ offen. Um diese Lücke zu schließen, schlägt dieses Papier ein neuartiges trainierbares Padding-Modul vor, das in ein Deep-Learning-Modell integriert werden kann. Das Padding-Modul kann sich selbst optimieren, ohne die gesamte Verlustfunktion des Modells zu erfordern oder zu beeinflussen. Um sich selbst zu trainieren, konstruiert das Padding-Modul eine Ground Truth und einen Prädiktor aus den Eingaben, indem es die zugrunde liegende Struktur der Eingabedaten zur Überwachung nutzt. Infolgedessen kann das Padding-Modul automatisch lernen, Pixel an den Rand seiner Eingabebilder oder Merkmalskarten zu paddeln. Die Inhalte des Paddings sind realistische Erweiterungen der Eingabedaten und erleichtern gleichzeitig die nachgelagerte Aufgabe des Deep-Learning-Modells. Experimente haben gezeigt, dass das vorgeschlagene Padding-Modul die Wettbewerber auf dem Stand der Technik und die Basismethoden übertrifft. Beispielsweise hat das Padding-Modul 1,49 % und 0,44 % höhere Klassifikationsgenauigkeit als das Zero-Padding, wenn es an VGG16 und ResNet50 getestet wurde.