Cross-Layer und Cross-Sample Feature Optimierungsnetzwerk für Few-Shot feingranulare Bildklassifikation

In letzter Zeit wurden eine Reihe von Few-Shot feingranularen Bildklassifikationsmethoden (FS-FGIC) vorgeschlagen, die sich jedoch hauptsächlich auf eine bessere feingranulare Merkmalsbeschreibung konzentrieren und dabei zwei wichtige Aspekte übersehen. Der erste besteht darin, wie man diskriminative Merkmale für Aufgaben der feingranularen Bildklassifikation extrahiert, während gleichzeitig triviale und nicht generalisierbare Rauschproben auf diesem Verfahren reduziert werden, um das Überanpassungsproblem im Rahmen des Few-Shot-Lernens zu überwinden. Der zweite ist, wie man eine zufriedenstellende Merkmalsübereinstimmung zwischen begrenzten Unterstützungs- und Abfragesamples mit variablen räumlichen Positionen und Winkeln erreicht. Um diese Probleme zu lösen, schlagen wir ein neuartiges Cross-Layer und Cross-Sample Feature-Optimierungsnetzwerk für FS-FGIC vor, kurz C2-Net genannt. Die vorgeschlagene Methode besteht aus zwei Hauptmodulen: dem Cross-Layer Feature Refinement (CLFR)-Modul und dem Cross-Sample Feature Adjustment (CSFA)-Modul. Das CLFR-Modul verfeinert die extrahierten Merkmale weiter und integriert Ausgaben aus mehreren Schichten, um die Störung durch das Sample-Level-Merkmalsrauschen zu unterdrücken. Zusätzlich adressiert das CSFA-Modul die Abweichung der Merkmale zwischen Abfrage- und Unterstützungssamples durch Kanalaktivierung und Positionsübereinstimmungsoperationen. Umfassende Experimente wurden an fünf feingranularen Benchmark-Datensätzen durchgeführt, und die Ergebnisse zeigen, dass das C2-Net in den meisten Fällen andere hochmoderne Methoden erheblich übertrifft. Unser Code ist verfügbar unter: https://github.com/zenith0923/C2-Net.