GSN : Segmentation généralisable dans le champ de radiance neural

Les représentations traditionnelles du champ de radiance (RF) capturent les détails d'une scène spécifique et doivent être entraînées de nouveau pour chaque scène. Des champs de caractéristiques sémantiques ont été ajoutés aux RF pour faciliter plusieurs tâches de segmentation. Les représentations RF généralisées apprennent les principes de l'interpolation de vue. Un RF généralisé peut rendre de nouvelles vues d'une scène inconnue et non entraînée, données quelques vues. Nous présentons une manière de distiller des champs de caractéristiques dans la représentation GNT généralisée. Notre représentation GSN génère de nouvelles vues de scènes invisibles à la volée, ainsi que des caractéristiques sémantiques cohérentes, pixel par pixel. Cela permet la segmentation multi-vue de nouvelles scènes arbitraires. Nous montrons différentes caractéristiques sémantiques étant distillées dans des RF généralisés. Nos résultats de segmentation multi-vue sont à la hauteur des méthodes utilisant des RF traditionnels. GSN comble significativement l'écart entre les méthodes RF standard et généralisables. Page du projet : https://vinayak-vg.github.io/GSN/