Leistungsprognose für exponentielle Sprachmodelle

Wir untersuchen die Aufgabe der Leistungsprognose für Sprachmodelle, die zur exponentiellen Familie gehören. Zunächst versuchen wir, empirisch eine Formel zur Vorhersage der Kreuzentropie des Testsets für n-Gramm-Sprachmodelle zu entdecken. Wir erstellen Modelle über verschiedene Domänen, Datensatzgrößen und n-Gramm-Ordnung und führen eine lineare Regression durch, um zu sehen, ob wir die Leistung des Testsets als einfache Funktion der Leistung des Trainingssets und verschiedener Modells Statistiken modellieren können. Bemerkenswerterweise finden wir eine einfache Beziehung, die die Leistung des Testsets mit einer Korrelation von 0,9997 vorhersagt. Wir analysieren, warum diese Beziehung besteht und zeigen, dass sie auch für andere exponentielle Sprachmodelle gilt, einschließlich klassenbasierter Modelle und Modelle zur minimalen Diskriminationsinformation. Schließlich erörtern wir, wie diese Beziehung angewendet werden kann, um die Leistung von Sprachmodellen zu verbessern.