IndicBART: Ein vortrainiertes Modell zur Erzeugung natürlicher Sprache in indischen Sprachen

In diesem Papier untersuchen wir vortrainierte Sequenz-zu-Sequenz-Modelle für eine Gruppe verwandter Sprachen, mit einem Fokus auf indische Sprachen. Wir präsentieren IndicBART, ein mehrsprachiges, vortrainiertes Sequenz-zu-Sequenz-Modell, das sich auf 11 indische Sprachen und Englisch konzentriert. IndicBART nutzt die orthographische Ähnlichkeit zwischen indischen Schriften, um das Transfer-Lernen zwischen ähnlichen indischen Sprachen zu verbessern. Wir bewerten IndicBART anhand von zwei NLG-Aufgaben: Neuronale Maschinenübersetzung (NMT) und extreme Zusammenfassung. Unsere Experimente zu NMT und extremer Zusammenfassung zeigen, dass ein Modell, das speziell für verwandte Sprachen wie IndicBART entwickelt wurde, im Vergleich zu großen vortrainierten Modellen wie mBART50 wettbewerbsfähig ist, obwohl es deutlich kleiner ist. Es erzielt auch gute Ergebnisse in Szenarien mit sehr begrenzten Ressourcen, in denen Sprachen nicht in das Vortraining oder Fine-Tuning einbezogen wurden. Das Teilen von Schriften, mehrsprachiges Training und eine bessere Nutzung der begrenzten Modellkapazität tragen zur guten Leistung des kompakten IndicBART-Modells bei.