Génération de langage naturel à quelques exemples avec un modèle de langage pré-entraîné

Les approches basées sur les réseaux neuronaux de bout en bout pour la génération de langage naturel (NLG) à partir de données ou de connaissances structurées sont avares en données, rendant leur adoption pour des applications du monde réel difficile avec des données limitées. Dans ce travail, nous proposons la nouvelle tâche de génération de langage naturel à quelques exemples. Motivés par la façon dont les humains ont tendance à résumer des données tabulaires, nous proposons une approche simple mais efficace et montrons qu'elle présente non seulement de meilleures performances, mais aussi une bonne généralisation à travers les domaines. La conception de l'architecture du modèle est basée sur deux aspects : la sélection de contenu à partir des données d'entrée et la modélisation du langage pour composer des phrases cohérentes, qui peuvent être acquises par le biais de connaissances préalables. Avec seulement 200 exemples d'entraînement, dans plusieurs domaines, nous montrons que notre approche atteint des performances très raisonnables et surpasse la meilleure référence de plus de 8,0 points BLEU en moyenne. Notre code et nos données peuvent être trouvés à https://github.com/czyssrs/Few-Shot-NLG.