Spike-NeRF : Champ de Radiance Neuronal Basé sur la Caméra à Épingle

En tant que capteur neuromorphique à haute résolution temporelle, les caméras à épingles présentent des avantages notables par rapport aux caméras traditionnelles dans les applications de vision à grande vitesse telles que l'estimation optique à grande vitesse, l'estimation de profondeur et le suivi d'objets. Inspiré par le succès de la caméra à épingles, nous avons proposé Spike-NeRF, le premier Champ de Radiance Neuronal dérivé des données d'épingle, pour réaliser la reconstruction 3D et la synthèse de nouveaux points de vue de scènes à grande vitesse. Au lieu des images multivues à un moment donné de NeRF, les entrées de Spike-NeRF sont des flux d'épingle continus capturés par une caméra à épingle en mouvement dans un temps très court. Pour reconstruire une scène 3D correcte et stable à partir de données d'épingle à haute fréquence mais instables, nous avons conçu des masques d'épingle accompagnés d'une fonction de perte distinctive. Nous évaluons notre méthode de manière qualitative et numérique sur plusieurs scènes synthétiques difficiles générées par blender avec le simulateur de caméra à épingle. Nos résultats montrent que Spike-NeRF produit des résultats visuellement plus attrayants que les méthodes existantes et la référence que nous avons proposée dans les scènes à grande vitesse. Notre code et nos données seront bientôt publiés.