Evaluierung im Kontext: Kontextuelle Einbettungen verbessern die Bewertung von maschineller Übersetzung

Eine genaue, automatische Bewertung der maschinellen Übersetzung ist entscheidend für die Systemanpassung und die Bewertung des Fortschritts auf diesem Gebiet. Wir haben eine einfache unüberwachte Metrik sowie zusätzliche überwachte Metriken vorgeschlagen, die kontextuelle Wort-Einbettungen nutzen, um die Übersetzungs- und Referenzsätze zu kodieren. Wir stellen fest, dass diese Modelle mit allen bestehenden Metriken in den WMT 2017 Satz- und Systemebenen konkurrieren oder diese übertreffen, und unser trainiertes Modell hat eine erheblich höhere Korrelation mit menschlichen Bewertungen als alle bestehenden Metriken im WMT 2017 Zu-Englisch Satzniveau-Datensatz.