Simple-RF：より簡単な解法を用いたスパース入力放射場の正則化

ニューラル放射場（NeRF）は、シーンのフォトリアリスティックな自由視点レンダリングにおいて印象的なパフォーマンスを示します。TensoRFやZipNeRFなどの最近のNeRFの改善は、暗黙的表現を用いるNeRFと比較して、より迅速な最適化およびレンダリングのために明示的モデルを採用しています。しかし、暗黙的および明示的な放射場の両方は、与えられたシーンの画像を密にサンプリングすることを要求します。利用可能な視点がスパースなセットしかない場合、その性能は著しく低下します。研究者たちは、放射場によって推定された深度を監視することが、少ない視点で効果的に訓練するのに役立つことを発見しました。深度の監視は、古典的アプローチまたは大規模データセットで事前学習されたニューラルネットワークを使用して得られます。前者はスパースな監視しか提供できない可能性がありますが、後者は一般化の問題に苦しむ場合があります。以前のアプローチとは対照的に、我々は拡張モデルを設計し、それをメインの放射場と共に訓練することで深度の監視を学ぼうとします。さらに、異なる暗黙的および明示的放射場の間で機能する正則化のフレームワークを設計することを目指します。これらの放射場モデルの特定の特徴がスパース入力シナリオにおいて観測された画像に過剰適合することを観察します。私たちの主要な発見は、位置エンコーディング、分解されたテンソル成分の数、またはハッシュテーブルのサイズに関して放射場の能力を低下させることが、モデルによりシンプルな解を学ぶように制約し、特定の領域でより良い深度を推定するということです。このような能力の低下に基づく拡張モデルを設計することで、メインの放射場に対してより良い深度の監視を得ることができます。上述の正則化を利用することで、前方視点および360度シーンを含む人気のデータセットでスパース入力視点を用いて、最先端のビューテンプレート性能を達成しました。