Adversarial Training von Keyword Spotting zur Minimierung der TTS-Datenüberanpassung

Das Problem des Keyword Spotting (KWS) erfordert große Mengen an echten Sprachtrainingsdaten, um eine hohe Genauigkeit in verschiedenen Bevölkerungsgruppen zu erreichen. Die Nutzung großer Mengen an text-to-speech (TTS) synthetisierten Daten kann die Kosten und die Zeit, die mit der KWS-Entwicklung verbunden sind, senken. Allerdings können TTS-Daten Artefakte enthalten, die in echter Sprache nicht vorhanden sind und die das KWS-Modell ausnutzen kann (überanpassen), was zu einer verringerten Genauigkeit bei echter Sprache führt. Um dieses Problem zu beheben, schlagen wir vor, eine adversarielle Trainingsmethode anzuwenden, um zu verhindern, dass das KWS-Modell TTS-spezifische Merkmale lernt, wenn es mit großen Mengen an TTS-Daten trainiert wird. Experimentelle Ergebnisse zeigen, dass die Genauigkeit des KWS-Modells bei echten Sprachdaten um bis zu 12 % verbessert werden kann, wenn der adversarielle Verlust zusätzlich zum ursprünglichen KWS-Verlust verwendet wird. Überraschenderweise haben wir auch festgestellt, dass die adversarielle Konfiguration die Genauigkeit um bis zu 8 % verbessert, selbst wenn nur mit TTS und echten negativen Sprachdaten ohne echte positive Beispiele trainiert wird.