Fortschritte bei der Optimierung rekursiver Netzwerke

Nach einer mehr als ein Jahrzehnt andauernden Phase relativ geringer Forschungsaktivität im Bereich der rekursiven neuronalen Netzwerke werden hier mehrere neue Entwicklungen überprüft, die erhebliche Fortschritte sowohl im Verständnis als auch in technischen Lösungen für ein effizienteres Training rekursiver Netzwerke ermöglicht haben. Diese Fortschritte wurden durch die Optimierungsprobleme im Zusammenhang mit Deep Learning motiviert und sind damit verbunden. Obwohl rekursive Netzwerke extrem leistungsfähig sind in dem, was sie prinzipiell in Bezug auf die Modellierung von Sequenzen darstellen können, ist ihr Training durch zwei Aspekte des gleichen Problems in Bezug auf das Lernen von Langzeitabhängigkeiten belastet. Die hier berichteten Experimente bewerten den Einsatz von Gradientenschneidungen, das Überbrücken längerer Zeiträume mit leckender Integration, fortschrittliche Momentum-Techniken, den Einsatz leistungsfähigerer Ausgabewahrscheinlichkeitsmodelle und die Förderung spärlicherer Gradienten, um Symmetriebrechungen und die Zuordnung von Verdiensten zu unterstützen. Die Experimente werden an Text- und Musikdaten durchgeführt und zeigen die kombinierten Effekte dieser Techniken, die generell sowohl den Trainings- als auch den Testfehler verbessern.