gzip sagt datenspezifische Skalierungsgesetze voraus

Frühere Arbeiten haben Skalierungsgesetze etabliert, die die Leistung eines neuralen Sprachmodells (LM) in Abhängigkeit von der Anzahl seiner Parameter und der Anzahl der Tokens, auf denen es trainiert wird, vorhersagen. Dies ermöglicht eine optimale Zuweisung eines festen Rechenbudgets. Sind diese Skalierungsgesetze unabhängig von den Trainingsdaten, wie einige frühere Arbeiten nahelegen? Wir generieren Trainingsdatensätze mit unterschiedlichen Komplexitäten, indem wir die syntaktischen Eigenschaften einer PCFG modulieren, und finden heraus, dass 1) Skalierungsgesetze empfindlich auf Unterschiede in der Datenkomplexität reagieren und dass 2) gzip, ein Komprimierungsalgorithmus, ein effektiver Prädiktor dafür ist, wie die Datenkomplexität die Skalierungseigenschaften beeinflusst. Wir schlagen ein neues datenspezifisches Skalierungsgesetz für LMs vor, das die gzip-Komprimierbarkeit der Trainingsdaten berücksichtigt; seine rechnerisch optimale Grenze steigt mit der Präferenz für die Datensatzgröße (gegenüber der Präferenz für die Parameteranzahl) an, wenn die Trainingsdaten schwieriger zu komprimieren sind.