GPT-NeoX-20B : Un modèle de langage autoregressif open-source

Nous introduisons GPT-NeoX-20B, un modèle de langage autoregressif de 20 milliards de paramètres entraîné sur le Pile, dont les poids seront rendus librement et ouvertement disponibles au public par le biais d'une licence permissive. C'est, à notre connaissance, le plus grand modèle autoregressif dense ayant des poids disponibles publiquement au moment de la soumission. Dans ce travail, nous décrivons l'architecture et l'entraînement de GPT-NeoX-20B et évaluons ses performances sur une gamme de tâches de compréhension de la langue, de mathématiques et basées sur des connaissances. Nous constatons que GPT-NeoX-20B est un raisonneur particulièrement puissant en few-shot et gagne beaucoup plus en performance lorsqu'il est évalué en cinq shots que les modèles de taille similaire GPT-3 et FairSeq. Nous open-source le code d'entraînement et d'évaluation, ainsi que les poids du modèle, sur https://github.com/EleutherAI/gpt-neox.