Verwendung von Methoden der neuronalen maschinellen Übersetzung zur Übersetzung der Gebärdensprache

Wir untersuchen Methoden und Techniken, die sich als hilfreich für die Text-zu-Text-Übersetzung gesprochener Sprachen im Kontext von Systemen zur Übersetzung von Gloss zu Text erwiesen haben, wobei Gloss die schriftliche Darstellung der Zeichen ist. Wir präsentieren eine der ersten Arbeiten, die Experimente mit beiden parallelen Korpora der Deutschen Gebärdensprache (PHOENIX14T und das öffentliche DGS-Korpus) umfassen. Wir experimentieren mit zwei NMT-Architekturen und optimieren deren Hyperparameter, verschiedenen Tokenisierungs-Methoden und zwei Techniken zur Datenaugmentation (Back-Translation und Paraphrasierung). Durch unsere Untersuchung erzielen wir eine wesentliche Verbesserung von 5,0 und 2,2 BLEU-Punkten für die auf den beiden Korpora trainierten Modelle. Unsere RNN-Modelle übertreffen unsere Transformator-Modelle, und die Segmentierungsmethode, mit der wir die besten Ergebnisse erzielen, ist BPE, während Back-Translation und Paraphrasierung zu geringfügigen, jedoch nicht signifikanten Verbesserungen führen.