Gehirn-inspirierte Wiedergabe für kontinuierliches Lernen mit künstlichen neuronalen Netzwerken

Künstliche neuronale Netzwerke leiden unter katastrophalem Vergessen. Im Gegensatz zu Menschen vergessen diese Netzwerke schnell, was zuvor gelernt wurde, wenn sie auf etwas Neues trainiert werden. Im Gehirn wird ein Mechanismus, der als wichtig für den Schutz von Erinnerungen gilt, als die Reaktivierung neuronaler Aktivitätsmuster angesehen, die diese Erinnerungen repräsentieren. In künstlichen neuronalen Netzwerken kann eine solche Gedächtniswiedergabe als 'generative Wiedergabe' implementiert werden, die erfolgreich - und überraschend effizient - katastrophales Vergessen bei Spielbeispielen selbst in einem Szenario des klasseninkrementellen Lernens verhindern kann. Allerdings ist es herausfordernd, die generative Wiedergabe auf komplizierte Probleme mit vielen Aufgaben oder komplexen Eingaben zu skalieren. Wir schlagen eine neue, gehirninspirierte Variante der Wiedergabe vor, bei der interne oder versteckte Repräsentationen wiedergegeben werden, die durch die eigenen, kontextmodulierten Rückverbindungen des Netzwerks erzeugt werden. Unsere Methode erreicht state-of-the-art Leistungen bei herausfordernden Benchmark-Tests zum kontinuierlichen Lernen (z. B. klasseninkrementelles Lernen auf CIFAR-100), ohne Daten zu speichern, und bietet ein neuartiges Modell für die Wiedergabe im Gehirn.