PointFlow: Generación de nubes de puntos 3D con flujos normalizantes continuos

A medida que las nubes de puntos 3D se convierten en la representación de elección para múltiples aplicaciones de visión y gráficos, la capacidad de sintetizar o reconstruir nubes de puntos de alta resolución y alta fidelidad se vuelve crucial. A pesar del reciente éxito de los modelos de aprendizaje profundo en tareas discriminativas de nubes de puntos, generar nubes de puntos sigue siendo un desafío. Este documento propone un marco probabilístico fundamentado para generar nubes de puntos 3D modelándolas como una distribución de distribuciones. Específicamente, aprendemos una jerarquía de distribuciones de dos niveles donde el primer nivel es la distribución de formas y el segundo nivel es la distribución de puntos dada una forma. Esta formulación nos permite tanto muestrear formas como muestrear un número arbitrario de puntos de una forma. Nuestro modelo generativo, llamado PointFlow, aprende cada nivel de la distribución con un flujo normalizante continuo. La invertibilidad de los flujos normalizantes permite el cálculo de la verosimilitud durante el entrenamiento y nos permite entrenar nuestro modelo en el marco de inferencia variacional. Empíricamente, demostramos que PointFlow alcanza un rendimiento de vanguardia en la generación de nubes de puntos. Además, mostramos que nuestro modelo puede reconstruir nubes de puntos de manera fiel y aprender representaciones útiles de manera no supervisada. El código estará disponible en https://github.com/stevenygd/PointFlow.