OpenELM: Eine effiziente Sprachmodellfamilie mit Open-Source-Trainings- und Inferenzrahmen

Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend für den Fortschritt der offenen Forschung, um die Vertrauenswürdigkeit der Ergebnisse sicherzustellen und Untersuchungen zu Daten- und Modellverzerrungen sowie potenziellen Risiken zu ermöglichen. Zu diesem Zweck stellen wir OpenELM vor, ein hochmodernes offenes Sprachmodell. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformer-Modells effizient zuzuweisen, was zu erhöhter Genauigkeit führt. Beispielsweise weist OpenELM bei einem Parameterbudget von ungefähr einer Milliarde Parametern eine Verbesserung der Genauigkeit um 2,36 % im Vergleich zu OLMo auf, während es 2 weniger Pre-Training-Token benötigt. Im Gegensatz zu früheren Praktiken, die nur Modellgewichte und Inferenzcode bereitstellen und auf privaten Datensätzen vortrainieren, umfasst unser Release das gesamte Framework für das Training und die Evaluierung des Sprachmodells auf öffentlich verfügbaren Datensätzen, einschließlich Trainingsprotokollen, mehrerer Checkpoints und Pre-Training-Konfigurationen. Wir stellen auch Code zur Verfügung, um Modelle in die MLX-Bibliothek für Inferenz und Feinabstimmung auf Apple-Geräten zu konvertieren. Dieses umfassende Release zielt darauf ab, die offene Forschungs-Community zu stärken und zu unterstützen und den Weg für zukünftige offene Forschungsprojekte zu ebnen. Unser Quellcode sowie vortrainierte Modellgewichte und Trainingsrezepte sind unter https://github.com/apple/corenet verfügbar. Außerdem sind die Modelle auf HuggingFace zu finden unter: https://huggingface.co/apple/OpenELM.