Verwendung von kernel-tiefen konvexen Netzwerken und End-to-End-Lernen zum Verständnis gesprochener Sprache

Wir präsentieren unsere jüngsten und laufenden Arbeiten zur Anwendung von Deep-Learning-Techniken auf Probleme des Verständnisses gesprochener Sprache (SLU). Das zuvor entwickelte tiefe konvexe Netzwerk (DCN) wird auf seine Kernversion (K-DCN) erweitert, bei der die Anzahl der verborgenen Einheiten in jeder DCN-Schicht gegen unendlich geht, indem der Kernel-Trick verwendet wird. Wir berichten über experimentelle Ergebnisse, die eine dramatische Fehlerreduzierung zeigen, die durch das K-DCN im Vergleich zur Boosting-basierten Basislinie und zum DCN bei einer Aufgabenklassifikation im Bereich SLU erreicht wird, insbesondere wenn ein stark korrelierter Satz von Merkmalen, der aus Klickprotokollen von Suchanfragen extrahiert wurde, verwendet wird. DCN und K-DCN können nicht nur als Domänen- oder Intentsklassifizierer für SLU verwendet werden, sondern auch als lokale, diskriminative Merkmals-Extraktoren für die Slot-Filling-Aufgabe von SLU. Die Schnittstelle von K-DCN zu Slot-Filling-Systemen über die Softmax-Funktion wird vorgestellt. Schließlich skizzieren wir eine End-to-End-Lernstrategie zur Schulung der Softmax-Parameter (und potenziell aller DCN- und K-DCN-Parameter), wobei das Lernziel jede Leistungskennzahl (z. B. das F-Maß) für das gesamte SLU-System annehmen kann.