Apprendre à segmenter des nuages de points 3D dans l'espace d'image 2D

Contrairement à la littérature où les motifs locaux dans les nuages de points 3D sont capturés par des opérateurs convolutifs personnalisés, dans cet article, nous étudions le problème de la manière de projeter efficacement et efficacement ces nuages de points dans un espace d'image 2D afin que des réseaux de neurones convolutifs (CNN) traditionnels tels que U-Net puissent être appliqués pour la segmentation. À cet effet, nous sommes motivés par le dessin de graphes et reformulons cela comme un problème de programmation entière pour apprendre la cartographie graph-to-grid préservant la topologie pour chaque nuage de points individuel. Pour accélérer le calcul en pratique, nous proposons également un nouvel algorithme hiérarchique approximatif. Avec l'aide de la triangulation de Delaunay pour la construction de graphes à partir de nuages de points et d'un U-Net multi-échelle pour la segmentation, nous parvenons à démontrer une performance à la pointe de la technologie sur ShapeNet et PartNet, respectivement, avec une amélioration significative par rapport à la littérature. Le code est disponible sur https://github.com/Zhang-VISLab.