Key points are not available for this paper at this time.
Wir stellen ein Online-Neuronales-Sequenz-zu-Sequenz-Modell vor, das lernt, zwischen dem Kodieren und Dekodieren von Segmenten der Eingabe zu wechseln, während es gelesen wird. Durch das unabhängige Verfolgen der Kodierungs- und Dekodierungsdarstellungen ermöglicht unser Algorithmus eine exakte polynomielle Marginalisierung der latenten Segmentierung während des Trainings, und während des Dekodierens wird eine Strahlensuche eingesetzt, um den besten Ausrichtungsweg zusammen mit der vorhergesagten Ausgabesequenz zu finden. Unser Modell löst das Engpassproblem von einfachen Kodierer-Dekodierern, die die gesamte Eingabesequenz in ihren festgelegten versteckten Zuständen lesen und speichern müssen, bevor sie eine Ausgabe erzeugen. Es unterscheidet sich von früheren aufmerksamen Modellen dadurch, dass anstelle der Behandlung der Aufmerksamkeitsgewichte als Ausgabe einer deterministischen Funktion unser Modell Aufmerksamkeitsgewichte einer sequentiellen latenten Variablen zuweist, die marginalisiert werden kann und die Online-Generierung ermöglicht. Experimente zur abstrakten Satzzusammenfassung und morphologischen Flexion zeigen signifikante Leistungsgewinne gegenüber den Baseline-Kodierern-Dekodierern.
Yu et al. (Fr,) haben diese Frage untersucht.