What does this research mean for the field?

Training neural machine translation models with a doubly adversarial approach—using both adversarial source and target inputs—significantly improves translation quality on clean benchmarks and increases robustness against noisy data compared to standard Transformer models. Novelty: ClaimNovelty.METHODOLOGICAL. Consensus alignment: ConsensusAlignment.NEUTRAL.

January 1, 2019Open Access

Robuste neuronale maschinelle Übersetzung mit doppelt adversarialen Eingaben

YCYong ChengUniversity of Jinan LJLu JiangNingxia University WMWolfgang MachereyGoogle (United States)

Key Points

Key points are not available for this paper at this time.

Abstract

Die neuronale maschinelle Übersetzung (NMT) leidet häufig unter der Anfälligkeit für rauschende Störungen im Input. Wir schlagen einen Ansatz zur Verbesserung der Robustheit von NMT-Modellen vor, der aus zwei Teilen besteht: (1) Angriff auf das Übersetzungsmodell mit adversarialen Quelleingaben; (2) Verteidigung des Übersetzungsmodells mit adversarialen Ziel-Eingaben, um seine Robustheit gegen die adversarialen Quelleingaben zu verbessern. Für die Generierung adversarialer Eingaben schlagen wir eine gradientenbasierte Methode vor, um adversariale Beispiele zu erstellen, die durch den Übersetzungsverlust über die sauberen Eingaben informiert sind. Experimentelle Ergebnisse zu den Übersetzungsaufgaben Chinesisch-Englisch und Englisch-Deutsch zeigen, dass unser Ansatz signifikante Verbesserungen (2,8 und 1,6 BLEU-Punkte) im Vergleich zu Transformer bei standardisierten sauberen Benchmarks erzielt und darüber hinaus eine höhere Robustheit bei rauschenden Daten aufweist.

KI fragen

Bookmark

View Full Paper