Apprentissage continu modulaire et compositionnel sans répétition pour les modèles de langue

L'apprentissage continu vise à acquérir progressivement de nouvelles connaissances tout en ne perdant pas les connaissances existantes. Pour surmonter l'oubli catastrophique, les méthodes sont soit basées sur la répétition, c'est-à-dire qu'elles stockent des exemples de données provenant de tâches précédentes pour une répétition des données, soit isolent des paramètres dédiés à chaque tâche. Cependant, les méthodes basées sur la répétition soulèvent des problèmes de confidentialité et de mémoire, et l'apprentissage continu par isolation des paramètres ne prend pas en compte l'interaction entre les tâches, entravant ainsi le transfert de connaissances. Dans ce travail, nous proposons MoCL, un cadre d'apprentissage continu modulaire et compositionnel sans répétition, qui ajoute continuellement de nouveaux modules aux modèles de langue et les compose avec les modules existants. Les expériences sur divers benchmarks montrent que MoCL surpasse l'état de l'art et facilite efficacement le transfert de connaissances.