Sprachmodelle skalieren zuverlässig mit Übertraining und bei nachgelagerten Aufgaben

Skalierungsgesetze sind nützliche Leitlinien für die Entwicklung von Sprachmodellen, aber es gibt noch Lücken zwischen den aktuellen Skalierungsstudien und der Art und Weise, wie Sprachmodelle letztendlich trainiert und evaluiert werden. Zum Beispiel wird Skalierung normalerweise im rechneroptimalen Trainingsregime untersucht (d. h. im "Chinchilla-optimalen" Regime); in der Praxis werden Modelle jedoch häufig übertrainiert, um die Inferenzkosten zu senken. Darüber hinaus sagen Skalierungsgesetze hauptsächlich den Verlust bei der Vorhersage des nächsten Tokens voraus, aber letztendlich werden Modelle basierend auf der Leistung bei nachgelagerten Aufgaben verglichen. In diesem Papier sprechen wir beide Mängel an. Dazu erstellen wir ein Testbett von 104 Modellen mit 0,011B bis 6,9B Parametern, die mit verschiedenen Tokenanzahlen auf drei Datenverteilungen trainiert wurden. Zuerst untersuchen wir die Skalierung im übertrainierten Regime. Wir passen Skalierungsgesetze an, die sowohl die Anzahl der Modellparameter als auch das Verhältnis von Trainingsoken zu Parametern extrapolieren. Dies ermöglicht es uns, den Validierungsverlust eines 1,4B-Parameter, 900B-Token-Laufs (d. h. 32 übertrainiert) und eines 6,9B-Parameter, 138B-Token-Laufs vorherzusagen — jeweils aus Experimenten, die 300 weniger Rechenleistung benötigen. Zweitens stellen wir die Verwirrtheit eines Sprachmodells in Beziehung zu seiner Leistung bei nachgelagerten Aufgaben über ein Potenzgesetz. Wir nutzen dieses Gesetz, um den Top-1-Fehler, der über nachgelagerte Aufgaben gemittelt wird, für die beiden vorgenannten Modelle unter Verwendung von Experimenten, die 20 weniger Rechenleistung erfordern, vorherzusagen. Unsere Experimente sind unter https://github.com/mlfoundations/scaling verfügbar.