Automatische Akzentbewertung mittels phonetischer Abweichungen und menschlicher Wahrnehmung

In dieser Studie wird ein neuer Algorithmus zur automatischen Akzentbewertung von Muttersprachlern und Nicht-Muttersprachlern vorgestellt. Das vorgeschlagene System besteht aus zwei Hauptschritten: Ausrichtung und Bewertung. Im Ausrichtungsschritt wird die Sprachäußerung mit einer auf Gewichtetem Endlichen Automaten (WFST) basierenden Technik verarbeitet, um automatisch die Ausspracheabweichungen (Substitutionen, Löschungen und Einfügungen) zu schätzen. Anschließend werden im Bewertungsschritt zwei Bewertungssysteme vorgeschlagen, die die Ausspracheabweichungen aus der Ausrichtungsphase nutzen: (i) ein WFST-Bewertungssystem zur Messung des Akzentgrades auf einer Skala von -1 (nicht-muttersprachlich) bis +1 (muttersprachlich), und (ii) eine auf Maximum Entropy (ME) basierende Technik zur Vergabe von wahrnehmungsbasierten Bewertungen für Ausspracheabweichungen. Die Akzentbewertungen, die durch das WFST-Bewertungssystem sowie das ME-Bewertungssystem bereitgestellt werden, werden als WFST- und P-WFST (wahrnehmungsbasierte WFST)-Akzentbewertungen bezeichnet. Die vorgeschlagenen Systeme werden anhand von amerikanischem Englisch (AE), das von Muttersprachlern und Nicht-Muttersprachlern (Muttersprachler des Mandarin-Chinesischen) aus dem CU-Accent-Korpus gesprochen wird, evaluiert. Eine Zuhörerbewertung von 50 Muttersprache Amerikanischem Englisch (N-AE) wurde durchgeführt, um die Leistung der vorgeschlagenen Akzentbewertungssysteme zu validieren. Der vorgeschlagene P-WFST-Algorithmus zeigt eine höhere und konsistentere Korrelation mit menschlich bewerteten Akzentbewertungen im Vergleich zu dem Goodness Of Pronunciation (GOP) Maß. Die vorgeschlagene Lösung zur Akzentklassifizierung und -bewertung auf der Basis von WFST- und P-WFST-Bewertungen zeigt, dass eine effektive Verbesserung möglich ist, die gut mit der menschlichen Wahrnehmung korreliert.