RetrievalFuse : Reconstruction neuronale de scènes 3D à l'aide d'une base de données

La reconstruction 3D de scènes à grande échelle constitue un problème difficile en raison de la complexité élevée de l'espace des solutions, en particulier pour les réseaux de neurones génératifs. Contrairement aux modèles génératifs appris traditionnels qui encodent l'intégralité du processus génératif au sein d'un réseau neuronal et peuvent éprouver des difficultés à maintenir les détails locaux à l'échelle de la scène, nous présentons une nouvelle méthode qui exploite directement la géométrie de la scène issue de la base de données d'entraînement. Premièrement, nous apprenons à synthétiser une estimation initiale d'une scène 3D, construite en extrayant un ensemble top-k de blocs volumétriques à partir de la base de données de scènes. Ces candidats sont ensuite affinés pour aboutir à une génération finale de la scène grâce à un raffinement fondé sur l'attention, capable de sélectionner efficacement l'ensemble géométrique le plus cohérent parmi les candidats et de les combiner afin de créer une scène de sortie, facilitant le transfert de structures cohérentes et de détails locaux issus de la géométrie de la scène d'entraînement. Nous démontrons notre reconstruction neuronale de scènes avec une base de données pour les tâches de super-résolution 3D et de reconstruction de surface à partir de nuages de points épars, montrant que notre approche permet la génération de scènes 3D plus cohérentes et précises, avec une amélioration moyenne de plus de 8 % d'IoU par rapport aux méthodes de reconstruction de scènes de l'état de l'art.