Entraînement multi-vues efficace pour le 3D Gaussian Splatting

Le 3D Gaussian Splatting (3DGS) est devenu un choix privilégié aux côtés des Neural Radiance Fields (NeRF) dans le rendu inverse en raison de sa vitesse de rendu supérieure. Actuellement, l'approche courante dans le 3DGS consiste à utiliser un entraînement par mini-lots "vue unique", où seule une image est traitée par itération, contrairement à l'entraînement par mini-lots "multi-vues" du NeRF, qui exploite plusieurs images. Nous observons que cet entraînement par vue unique peut entraîner une optimisation suboptimale due à une variance accrue dans les gradients stochastiques des mini-lots, soulignant la nécessité d'un entraînement multi-vues. Cependant, l'implémentation de l'entraînement multi-vues dans le 3DGS pose des défis. Le simple rendu de plusieurs images par itération entraîne des frais généraux considérables et peut aboutir à une densification gaussienne suboptimale en raison de sa dépendance à des hypothèses à vue unique. Pour résoudre ces problèmes, nous modifions le processus de rasterisation pour minimiser les frais généraux associés à l'entraînement multi-vues et proposons une perte D-SSIM consciente de la distance en 3D et un contrôle de densité adaptatif multi-vues qui conviennent mieux aux scénarios multi-vues. Nos expériences démontrent que les méthodes proposées améliorent considérablement les performances du 3DGS et de ses variantes, libérant le 3DGS des contraintes de l'entraînement à vue unique.