Verbesserung der Größenreduktion von Sprachmodellen durch bessere Pruning-Kriterien

Die Reduzierung der Größe von Sprachmodellen (LM) ist ein kritisches Thema bei der Anwendung eines LM auf realistische Anwendungen, die Speicherbeschränkungen haben. In dieser Arbeit werden drei Maßnahmen zum Pruning von LMs untersucht. Diese sind Wahrscheinlichkeit, Rang und Entropie. Wir haben die Leistung der drei Pruning-Kriterien in einer realen Anwendung der chinesischen Texteingabe hinsichtlich der Zeichenfehlerquote (CER) bewertet. Zunächst präsentieren wir einen empirischen Vergleich, der zeigt, dass der Rang in den meisten Fällen am besten abschneidet. Wir zeigen auch, dass die hohe Leistung des Rangs in seiner starken Korrelation mit der Fehlerquote liegt. Anschließend präsentieren wir eine neuartige Methode zur Kombination zweier Kriterien im Modell-Pruning. Die experimentellen Ergebnisse zeigen, dass das kombinierte Kriterium durchgängig zu kleineren Modellen führt als die Modelle, die mit jeweils einem der Kriterien separat gepruned wurden, bei derselben CER.