Was bleibt im ATIS zu verstehen?

Eine der Hauptdatenressourcen, die in vielen Studien der letzten zwei Jahrzehnte für die Erforschung des Verständnisses gesprochener Sprache (SLU) in sprachgesteuerten Dialogsystemen verwendet wird, ist das Korpus des Flugreise-Informationssystems (ATIS). Zwei Hauptaufgaben im SLU sind die Intentbestimmung (ID) und das Slot-Filling (SF). Neuere Studien berichteten von Fehlerraten unter 5 % für beide Aufgaben unter Verwendung diskriminativer maschineller Lerntechniken mit dem ATIS-Testdatensatz. Während diese niedrigen Fehlerraten darauf hindeuten können, dass diese Aufgabe kurz vor der Lösung steht, zeigt eine weitere Analyse den anhaltenden Nutzen von ATIS als Forschungskorpus. In diesem Papier ist es nicht unser Ziel, mit domänenspezifischen Techniken oder Merkmalen zu experimentieren, die bei den verbleibenden SLU-Fehlern helfen könnten, sondern stattdessen Methoden zu erkunden, um diesen Nutzen durch umfassende Fehleranalyse zu realisieren. Wir schließen daraus, dass selbst mit solch niedrigen Fehlerraten der ATIS-Testdatensatz weiterhin viele ungesehene Beispielkategorien und -sequenzen enthält und daher mehr Daten benötigt. Besser noch, neue annotierte größere Datensätze aus komplexeren Aufgaben mit realistischen Äußerungen können eine Überanpassung in Bezug auf Modellierung und Merkmalsdesign vermeiden. Wir glauben, dass Fortschritte im SLU durch mehr natürlich gesprochene Datensätze und die Verwendung linguistisch motivierterer Merkmale erreicht werden können, während die Robustheit aufgrund von Spracherkennung-Noise und Variationen durch natürliche Sprache erhalten bleibt.