Cross-Linguale Transfer-Learning für Sprachübersetzung

Das Interesse an der Erstellung multilingualer Grundmodelle für NLP und Sprachforschung hat zugenommen. Zero-Shot cross-lingual transfer wurde bei einer Reihe von NLP-Aufgaben demonstriert, bei denen ein Modell, das auf aufgabenspezifischen Daten in einer Sprache feinabgestimmt wurde, Leistungssteigerungen in anderen Sprachen erzielt. Hier untersuchen wir, ob sprachbasierte Modelle die gleiche Transferfähigkeit aufweisen. Am Beispiel von Whisper als multilingualem Sprachgrundmodell untersuchen wir die Äußerungsrepräsentation, die vom Sprachencoder erzeugt wird. Trotz der Tatsache, dass einige sprachsensitiven Informationen in der Audioeinbettung erhalten bleiben, werden Wörter aus verschiedenen Sprachen in einen ähnlichen semantischen Raum abgebildet, was sich in einer hohen Recall-Rate bei einer Sprach-zu-Sprach-Abfrageaufgabe zeigt. Durch die Nutzung dieses gemeinsamen Einbettungsraums wird der Zero-Shot cross-lingual transfer in der Sprachübersetzung demonstriert. Wenn das Whisper-Modell ausschließlich auf Englisch-zu-Chinesisch-Übersetzungsdaten feinabgestimmt wird, sind Leistungsverbesserungen für Eingangsäußerungen in anderen Sprachen zu beobachten. Darüber hinaus zeigen Experimente mit ressourcenarmen Sprachen, dass Whisper Sprachübersetzungen für Äußerungen aus Sprachen, die während des Pre-Trainings nicht gesehen wurden, durchführen kann, indem es cross-linguale Repräsentationen nutzt.