Un algorithme efficace basé sur le gradient pour l'entraînement en ligne des trajectoires des réseaux récurrents

Une variante novatrice de l'approche familière de rétropropagation dans le temps pour l'entraînement des réseaux récurrents est décrite. Cet algorithme est destiné à être utilisé sur des réseaux récurrents arbitraires qui fonctionnent continuellement sans jamais être réinitialisés à un état initial, et il est spécifiquement conçu pour une mise en œuvre informatique efficace. Cet algorithme peut être considéré comme un croisement entre la rétropropagation dans le temps par époque, qui n'est pas appropriée pour les réseaux en fonctionnement continu, et la technique d'approximation du gradient en ligne largement utilisée de rétropropagation tronquée à travers le temps.