Konzepte von DNNs zurück zu GMMs übertragen

Tiefe neuronale Netze (DNNs) haben sich als überlegen gegenüber Gaussian Mixture Models (GMM) in einer Vielzahl von Spracherkennungsbenchmarks erwiesen. In diesem Papier analysieren wir die Unterschiede zwischen den DNN- und GMM-Modellierungstechniken und übertragen die besten Ideen aus der DNN-basierten Modellierung auf ein GMM-basiertes System. Durch tiefes (mehrere Schichten) und breites (mehrere parallele Sub-Modelle) Vorgehen und das Teilen von Modellparametern sind wir in der Lage, die Kluft zwischen den beiden Modellierungstechniken in der TIMIT-Datenbank zu schließen. Da die `tiefen' GMMs die mit maximaler Wahrscheinlichkeit trainierten Gausschen als erste Schicht beibehalten, können fortschrittliche Techniken wie Sprecheranpassung und modellbasierte Geräuschrobustheit problemlos integriert werden. Trotz ihrer Ähnlichkeiten zeigen die DNNs und die tiefen GMMs immer noch eine ausreichende Komplementarität, um eine effektive Systemkombination zu ermöglichen.