Tucano : Avancer la génération de texte neural pour le portugais

Le traitement du langage naturel a connu des progrès substantiels ces dernières années. Cependant, les modèles de langage basés sur l'apprentissage profond actuels nécessitent des données et des ressources informatiques considérables. Ce paradigme gourmand en données a créé un fossé entre les langues à haute ressource, où le développement prospère, et les langues à faible ressource, qui sont en retard. Pour remédier à cette disparité, cette étude introduit un nouvel ensemble de ressources pour faire avancer la génération de texte neural pour le portugais. Ici, nous documentons le développement de GigaVerbo, un corpus de texte portugais totalisant 200 milliards de jetons. En utilisant ce corpus, nous avons entraîné Tucano, une famille de modèles de transformateurs uniquement décodeurs. Nos modèles surpassent systématiquement des modèles portugais et multilingues comparables sur plusieurs benchmarks. Tous les modèles, ensembles de données et outils développés dans ce travail sont librement accessibles à la communauté pour soutenir la recherche reproductible.