Tiefe Cross-Layer Kollaborative Lernnetzwerke für Online-Wissen-Destillation

Aktuelle Methoden zur Online-Wissen-Destillation (OKD) konzentrieren sich darauf, reichhaltige und nützliche Zwischeninformationen durch mehrschichtige Merkmalslernen zu erfassen. Vorhandene Arbeiten berücksichtigen nur Merkmalskarten der Zwischenlayer zwischen den gleichen Schichten und ignorieren wertvolle Informationen über die Schichten hinweg, was zu einem Mangel an angemessener Cross-Layer-Überwachung im Detail und im Lernprozess führt. Darüber hinaus bietet dieser Ansatz nicht genügend Überwachungsinformationen, um das Lernen des Schülers zu leiten, da es versäumt, einen geeigneten Lehrer zu konstruieren. In dieser Arbeit schlagen wir ein Deep Cross-layer Collaborative Learning-Netzwerk (DCCL) für OKD vor, das fruchtbares Wissen von Peer-Schülermodellen effizient nutzt, indem es angemessene Zwischen-Cross-Layer-Überwachung aufrechterhält. Konkret integriert jeder Schüler schrittweise seine eigenen Merkmale in verschiedenen Schichten zum Merkmalsabgleich, um Merkmale auf niedrigen und hohen Ebenen effektiv zu nutzen, um komplexeres Wissen zu erlernen. Darüber hinaus weisen wir eine kollaborative Wissenslernestrategie zu, bei der ein qualifizierter Lehrer durch das Verschmelzen der Merkmale der letzten Convolution-Schichten etabliert wird, um die hochgradige Repräsentation zu verbessern. Auf diese Weise übertragen alle Schülermodelle kontinuierlich die reichhaltige interne Repräsentation des Lehrers und erfassen dessen dynamischen Wachstumsprozess, und unterstützen somit das Lernen des Fusion-Lehrers zur weiteren Überwachung der Schüler. In den Experimenten hat unser vorgeschlagenes DCCL mit verschiedenen Backbone-Modellen auf CIFAR-100, Tiny ImageNet und ImageNet eine große Verallgemeinerungsfähigkeit gezeigt und auch überlegene Leistungen im Vergleich zu gängigen OKD-Arbeiten demonstriert. Unser Code ist hier verfügbar: https://github.com/nanxiaotong/DCCL.