神経放射場に基づく反射物体再構成法

我々は、未知の環境で撮影されたマルチビュー画像から反射物体のジオメトリとBRDFを再構成するための神経レンダリングに基づく3D再構成法を提案します。反射物体のマルチビュー再構成は非常に困難です。なぜなら、鏡面反射は視点に依存し、したがってほとんどのマルチビュー再構成方法の礎であるマルチビュー整合性を侵害するからです。最近の神経レンダリング技術は、周囲光と物体表面の相互作用をモデル化して視点依存の反射に適応させることができ、マルチビュー画像から反射物体を再構成することが可能になりました。しかし、神経レンダリングにおける周囲光の正確なモデル化は難しいです。この問題を解決するために、我々は二段階のアプローチを提案します。まず、視点依存のフォトメトリック損失を導入することで、我々の方法は反射物体のジオメトリを正確に再構成します。次に、物体のジオメトリを固定した状態で、より正確なサンプリングを使用して周囲光と物体のBRDFを回復します。実験により、我々の方法は、周囲光や物体のマスクを知らなくても、RGB画像のみから反射物体のジオメトリとBRDFを正確に再構成できることが示されています。