Lernen zu vergessen: kontinuierliche Vorhersage mit LSTM

Long Short-Term Memory (LSTM, Hochreiter & Schmidhuber, 1997) kann zahlreiche Aufgaben lösen, die von vorherigen Lernalgorithmen für rekursive neuronale Netze (RNNs) nicht gelöst werden können. Wir identifizieren eine Schwäche von LSTM-Netzen, die kontinuierliche Eingabeströme verarbeiten, die nicht a priori in Teilsequenzen mit explizit markierten Enden segmentiert sind, an denen der interne Zustand des Netzes zurückgesetzt werden könnte. Ohne Rücksetzungen kann der Zustand unbegrenzt wachsen und schließlich dazu führen, dass das Netzwerk zusammenbricht. Unser Heilmittel ist ein neuartiges, adaptives Vergessenstor, das es einer LSTM-Zelle ermöglicht, zu lernen, sich zu geeigneten Zeiten zurückzusetzen und so interne Ressourcen freizugeben. Wir überprüfen illustrative Benchmark-Probleme, bei denen das Standard-LSTM andere RNN-Algorithmen übertrifft. Alle Algorithmen (einschließlich LSTM) scheitern daran, kontinuierliche Versionen dieser Probleme zu lösen. LSTM mit Vergessenstoren löst diese jedoch auf elegante Weise.