PointNet : Apprentissage profond sur des ensembles de points pour la classification et la segmentation 3D

Le nuage de points est un type important de structure de données géométriques. En raison de son format irrégulier, la plupart des chercheurs transforment ces données en grilles de voxels 3D régulières ou en collections d'images. Cela rend cependant les données inutilement volumineuses et pose des problèmes. Dans cet article, nous concevons un nouveau type de réseau neuronal qui consomme directement des nuages de points, respectant bien l'invariance de permutation des points en entrée. Notre réseau, nommé PointNet, fournit une architecture unifiée pour des applications allant de la classification d'objets, à la segmentation de parties, jusqu'à l'analyse sémantique de scènes. Bien que simple, PointNet est très efficace et performant. Empiriquement, il montre des performances solides équivalentes ou même supérieures à l'état de l'art. Théoriquement, nous fournissons une analyse pour comprendre ce que le réseau a appris et pourquoi le réseau est robuste par rapport aux perturbations et corruptions d'entrée.