Apprentissage multitâche pour la conduite autonome en temps réel tirant parti d'un générateur d'attention adaptatif aux tâches

Le traitement en temps réel est crucial dans les systèmes de conduite autonome en raison de l'impératif de prise de décision instantanée et de réponse rapide. Dans des scénarios réels, les véhicules autonomes sont continuellement chargés d'interpréter leur environnement, d'analyser des données de capteur complexes et de prendre des décisions en quelques fractions de seconde afin d'assurer la sécurité à travers de nombreuses tâches de vision par ordinateur. Dans cet article, nous présentons un nouveau réseau multitâche en temps réel adapté à trois tâches vitales de conduite autonome : la détection d'objets 3D monoculaires, la segmentation sémantique et l'estimation dense de profondeur. Pour contrer le défi du transfert négatif, qui est le problème prédominant dans l'apprentissage multitâche, nous introduisons un générateur d'attention adaptatif aux tâches. Ce générateur est conçu pour discerner automatiquement les interrelations entre les trois tâches et organiser le modèle de partage des tâches, tout en tirant parti de l'efficacité de l'approche de partage des paramètres durs. À notre connaissance, le modèle proposé est pionnier dans sa capacité à gérer simultanément plusieurs tâches, notamment la détection d'objets 3D, tout en maintenant des vitesses de traitement en temps réel. Notre réseau rigoureusement optimisé, lorsqu'il est testé sur les ensembles de données Cityscapes-3D, surpasse constamment divers modèles de référence. De plus, une étude d'ablation approfondie confirme l'efficacité des méthodologies intégrées dans notre cadre.