Apprentissage multi-tâches comme optimisation multi-objectifs

Dans l'apprentissage multi-tâches, plusieurs tâches sont résolues conjointement, partageant un biais inductif entre elles. L'apprentissage multi-tâches est intrinsèquement un problème multi-objectifs car différentes tâches peuvent être en conflit, nécessitant un compromis. Un compromis courant consiste à optimiser un objectif proxy qui minimise une combinaison linéaire pondérée des pertes par tâche. Cependant, cette solution de contournement n'est valide que lorsque les tâches ne sont pas concurrentes, ce qui est rarement le cas. Dans cet article, nous formulons explicitement l'apprentissage multi-tâches comme une optimisation multi-objectifs, avec l'objectif global de trouver une solution Pareto optimale. À cette fin, nous utilisons des algorithmes développés dans la littérature sur l'optimisation multi-objectifs basée sur le gradient. Ces algorithmes ne sont pas directement applicables aux problèmes d'apprentissage à grande échelle car leur performance se dégrade avec la dimensionnalité des gradients et le nombre de tâches. Nous proposons donc une borne supérieure pour la perte multi-objectifs et montrons qu'elle peut être optimisée de manière efficace. Nous prouvons en outre qu'optimiser cette borne supérieure conduit à une solution Pareto optimale dans des hypothèses réalistes. Nous appliquons notre méthode à une variété de problèmes d'apprentissage profond multi-tâches, y compris la classification de chiffres, la compréhension de scènes (segmentation sémantique conjointe, segmentation d'instances et estimation de profondeur), et la classification multi-étiquettes. Notre méthode produit des modèles plus performants que les formulations récentes d'apprentissage multi-tâches ou l'entraînement par tâche.