Vergessen lernen: Kontinuierliche Vorhersage mit LSTM

Langzeit-Kurzzeitgedächtnis (LSTM; Hochreiter & Schmidhuber, 1997) kann zahlreiche Aufgaben lösen, die von vorherigen Lernalgorithmen für rekurrente neuronale Netze (RNNs) nicht gelöst werden konnten. Wir identifizieren eine Schwäche von LSTM-Netzen, die kontinuierliche Eingabeströme verarbeiten, die nicht a priori in Teilfolgen segmentiert sind, bei denen explizit markierte Enden vorhanden sind, an denen der interne Zustand des Netzwerks zurückgesetzt werden könnte. Ohne Rücksetzungen kann der Zustand unbegrenzt wachsen und schließlich dazu führen, dass das Netzwerk ausfällt. Unser Heilmittel ist ein neuartiges, adaptives "Vergessentor", das es einer LSTM-Zelle ermöglicht, zu lernen, sich zu geeigneten Zeiten zurückzusetzen und somit interne Ressourcen freizusetzen. Wir überprüfen anschauliche Benchmark-Probleme, bei denen das Standard-LSTM andere RNN-Algorithmen übertrifft. Alle Algorithmen (einschließlich LSTM) scheitern jedoch daran, kontinuierliche Versionen dieser Probleme zu lösen. LSTM mit Vergessentoren hingegen löst sie mühelos und auf elegante Weise.