Eine effektive dynamische Gradientkalibrierungsmethode für kontinuierliches Lernen

Kontinuierliches Lernen (CL) ist ein grundlegendes Thema im maschinellen Lernen, bei dem das Ziel darin besteht, ein Modell mit kontinuierlich eintreffenden Daten und Aufgaben zu trainieren. Aufgrund der Speichergrenze können wir nicht alle historischen Daten speichern und sehen uns daher dem Problem des "katastrophalen Vergessens" gegenüber, d.h. die Leistung bei den vorherigen Aufgaben kann erheblich abnehmen, weil Informationen in der späteren Periode fehlen. Obwohl eine Reihe eleganter Methoden vorgeschlagen wurde, kann das Phänomen des katastrophalen Vergessens in der Praxis nach wie vor nicht gut vermieden werden. In diesem Papier untersuchen wir das Problem aus der Gradientenperspektive, wobei unser Ziel darin besteht, einen effektiven Algorithmus zu entwickeln, um den Gradienten in jedem Aktualisierungsschritt des Modells zu kalibrieren; nämlich streben wir an, das Modell in die richtige Richtung zu führen, obwohl eine große Menge historischer Daten nicht verfügbar sind. Unsere Idee ist teilweise von den bahnbrechenden Methoden zur stochastischen Varianzreduktion (z.B. SVRG und SAGA) inspiriert, die die Varianz der Gradientenabschätzung in stochastischen Gradientenabstieg-Algorithmen reduzieren sollen. Ein weiterer Vorteil ist, dass unser Ansatz als allgemeines Werkzeug verwendet werden kann, das mit mehreren bestehenden beliebten CL-Methoden kombiniert werden kann, um eine bessere Leistung zu erzielen. Wir führen auch eine Reihe von Experimenten an mehreren Benchmark-Datensätzen durch, um die Leistung in der Praxis zu bewerten.