Gradienten-Neuwichtung: Hin zu unausgewogenem Klassen-incrementellem Lernen

Das Klassen-incrementelle Lernen (CIL) trainiert ein Modell, um kontinuierlich neue Klassen aus nicht-stationären Daten zu erkennen und dabei das erlernte Wissen beizubehalten. Eine große Herausforderung des CIL entsteht bei der Anwendung auf reale Daten, die durch nicht uniforme Verteilung gekennzeichnet sind, was ein duales Ungleichgewichtsproblem mit sich bringt, das (i) Unterschiede zwischen gespeicherten Exemplaren alter Aufgaben und neuen Klassendaten (Inter-Phasen-Ungleichgewicht) und (ii) schwerwiegende Klassenungleichgewichte innerhalb jeder einzelnen Aufgabe (Intra-Phasen-Ungleichgewicht) umfasst. Wir zeigen, dass dieses duale Ungleichgewichtsproblem verzerrte Gradientupdates mit voreingenommenen Gewichten in FC-Schichten verursacht, was zu Über-/Unteranpassung und katastrophalem Vergessen im CIL führt. Unsere Methode adressiert dies, indem sie die Gradienten zur ausgewogenen Optimierung und den unbeeinflussten Klassifizierer-Lernen neu gewichtet. Darüber hinaus beobachten wir unausgewogenes Vergessen, bei dem paradoxerweise die instance-reichen Klassen während des CIL aufgrund einer größeren Menge an Trainingsdaten, die in nachfolgenden Lernphasen nicht mehr verfügbar sind, eine höhere Leistungsabnahme erleiden. Um dem entgegenzuwirken, führen wir außerdem einen distributionsbewussten Wissensdistillationsverlust ein, um das Vergessen zu mildern, indem wir die Ausgabewerte proportional zur Verteilung der verlorenen Trainingsdaten ausrichten. Wir validieren unsere Methode auf CIFAR-100, ImageNetSubset und Food101 über verschiedene Evaluierungsprotokolle und zeigen konsistente Verbesserungen im Vergleich zu bestehenden Arbeiten, was großes Potenzial für die Anwendung von CIL in realen Szenarien mit verbesserter Robustheit und Effektivität zeigt.