RL-GAN-Net : Un réseau GAN contrôlé par un agent d'apprentissage par renforcement pour la complétion de formes de nuages de points en temps réel

Nous présentons RL-GAN-Net, où un agent d'apprentissage par renforcement (RL) fournit un contrôle rapide et robuste d'un réseau antagoniste génératif (GAN). Notre cadre est appliqué à la complétion de formes de nuages de points qui convertit des données de nuage de points bruyantes et partielles en une forme complétée de haute fidélité en contrôlant le GAN. Alors qu'un GAN est instable et difficile à entraîner, nous contournons le problème en (1) entraînant le GAN sur la représentation de l'espace latent dont la dimension est réduite par rapport à l'entrée brute du nuage de points et (2) utilisant un agent RL pour trouver la bonne entrée pour le GAN afin de générer la représentation de l'espace latent de la forme qui correspond le mieux à l'entrée actuelle du nuage de points incomplet. Le pipeline proposé complète de manière robuste le nuage de points avec de grandes régions manquantes. À notre connaissance, il s'agit de la première tentative d'entraîner un agent RL pour contrôler le GAN, qui apprend efficacement la cartographie hautement non linéaire du bruit d'entrée du GAN à l'espace latent du nuage de points. L'agent RL remplace le besoin d'optimisation complexe et rend ainsi notre technique en temps réel. De plus, nous démontrons que nos pipelines peuvent être utilisés pour améliorer la précision de classification des nuages de points avec des données manquantes.