Reduktion von Overfitting in tiefen Netzwerken durch Dekorrelation von Repräsentationen

Eine große Herausforderung beim Training von Tiefen Neuronalen Netzwerken ist die Verhinderung von Overfitting. Viele Techniken wie Datenaugmentation und neue Regularisierer wie Dropout wurden vorgeschlagen, um Overfitting zu vermeiden, ohne eine massive Menge an Trainingsdaten zu erfordern. In dieser Arbeit schlagen wir einen neuen Regularisierer namens DeCov vor, der zu einer signifikanten Reduktion von Overfitting führt (wie durch den Unterschied zwischen Trainings- und Validierungsleistung angezeigt) und eine bessere Generalisierung ermöglicht. Unser Regularisierer fördert vielfältige oder nicht redundante Repräsentationen in Tiefen Neuronalen Netzwerken, indem er die Kreuzkovarianz von verborgenen Aktivierungen minimiert. Diese einfache Intuition wurde in einer Reihe vorheriger Arbeiten erforscht, aber überraschenderweise nie als Regularisierer im überwachten Lernen angewendet. Experimente über eine Reihe von Datensätzen und Netzwerkarchitekturen zeigen, dass dieser Verlust immer Overfitting reduziert, während er fast immer die Generalisierungsleistung aufrechterhält oder erhöht und oft die Leistung gegenüber Dropout verbessert.