Sprachmodellierung durch Sequenzen variabler Länge: theoretische Formulierung und Evaluation von Multigrammen

Das Multigramm-Modell geht davon aus, dass Sprache als Ausgabe einer speicherlosen Quelle beschrieben werden kann, die Sequenzen von Wörtern variabler Länge erzeugt. Die Schätzung der Modellparameter kann als Problem der maximalen Wahrscheinlichkeitsabschätzung aus unvollständigen Daten formuliert werden. Wir zeigen, dass Schätzungen der Modellparameter durch einen iterativen Erwartungs-Maximierungs-Algorithmus berechnet werden können, und beschreiben ein Vorwärts-Zurück-Verfahren für die Implementierung. Wir berichten über die Ergebnisse einer systematischen Evaluation von Multigrammen für die Sprachmodellierung auf der ATIS-Datenbank. Das objektive Leistungsmaß ist die Perplexität des Testdatensatzes. Unsere Ergebnisse zeigen, dass Multigramme bei dieser Aufgabe besser abschneiden als konventionelle n-Gramme.