ResNet oder DenseNet? Einführung dichter Abkürzungen in ResNet

ResNet oder DenseNet? Heutzutage werden die meisten auf Deep Learning basierenden Ansätze mit wegweisenden Backbone-Netzwerken implementiert, darunter die beiden wahrscheinlich bekanntesten, ResNet und DenseNet. Trotz ihrer wettbewerbsfähigen Leistung und überwältigenden Popularität bestehen inhärente Nachteile für beide. Bei ResNet könnte die Identitätsabkürzung, die das Training stabilisiert, seine Repräsentationskapazität einschränken, während DenseNet dies mit der Zusammenführung von Merkmalen auf mehreren Ebenen mindert. Allerdings verursacht die dichte Zusammenführung ein neues Problem, das einen hohen GPU-Speicherbedarf und mehr Trainingszeit erfordert. Teilweise aufgrund dessen ist die Wahl zwischen ResNet und DenseNet nicht trivial. Dieses Papier bietet eine einheitliche Perspektive der dichten Summation, um sie zu analysieren, was ein besseres Verständnis ihres Kernunterschieds erleichtert. Darüber hinaus schlagen wir dichte gewichtet normalisierte Abkürzungen als Lösung für das Dilemma zwischen ihnen vor. Unsere vorgeschlagene dichte Abkürzung erbt die Designphilosophie des einfachen Designs in ResNet und DenseNet. An mehreren Benchmark-Datensätzen zeigen die experimentellen Ergebnisse, dass das vorgeschlagene DSNet deutlich bessere Ergebnisse als ResNet erzielt und eine vergleichbare Leistung wie DenseNet erreicht, jedoch weniger Rechenressourcen benötigt.