Verbesserung von Modellen der neuronalen maschinellen Übersetzung mit monolingualen Daten

Die neuronale maschinelle Übersetzung (NMT) hat für mehrere Sprachpaare eine Spitzenleistung erzielt, während sie nur parallele Daten für das Training verwendet hat. Monolinguale Daten auf der Zielseite spielen eine wichtige Rolle bei der Verbesserung der Flüssigkeit der phrasenbasierten statistischen maschinellen Übersetzung, und wir untersuchen die Verwendung von monolingualen Daten für NMT. Im Gegensatz zu früheren Arbeiten, die NMT-Modelle mit separat trainierten Sprachmodellen kombinieren, stellen wir fest, dass Encoder-Decoder-NMT-Architekturen bereits die Fähigkeit besitzen, die gleichen Informationen wie ein Sprachmodell zu lernen, und wir erkunden Strategien, um mit monolingualen Daten zu trainieren, ohne die Architektur des neuronalen Netzwerks zu ändern. Indem wir monolinguale Trainingsdaten mit einer automatischen Rückübersetzung kombinieren, können wir sie als zusätzliche parallele Trainingsdaten behandeln, und wir erzielen erhebliche Verbesserungen bei der WMT 15 Aufgabe Englisch-Deutsch (+2,8-3,7 BLEU) und für die ressourcenarmen IWSLT 14 Aufgabe Türkisch-Englisch (+2,1-3,4 BLEU), wobei wir neue Spitzenergebnisse erzielen. Wir zeigen auch, dass feines Tuning auf monolingualen und parallelen Daten im Fachgebiet erhebliche Verbesserungen für die IWSLT 15 Aufgabe Englisch-Deutsch bringt.