多視点ステレオからの高速一般化ガウススプラッティング再構築

我々は、見たことのないシーンを効率的に再構築できる多視点ステレオ（MVS）に基づく新しい一般化可能な3Dガウス表現アプローチであるMVSGaussianを提案します。具体的には、1）MVSを利用して幾何学に配慮したガウス表現をエンコードし、それをガウスパラメータにデコードします。2）性能をさらに向上させるため、革新的な視点合成のための効率的なボリュームレンダリング設計と統合したハイブリッドガウスレンダリングを提案します。3）特定のシーンに対して迅速なファインチューニングをサポートするために、一般化モデルによって生成されたポイントクラウドを効果的に集約するマルチビュージオメトリ一致集約戦略を導入し、シーンごとの最適化の初期化として機能させます。従来の一般化可能なNeRFベースの手法と比較して、これらは通常、画像ごとに数分のファインチューニングと数秒のレンダリングを必要としますが、MVSGaussianは各シーンに対してリアルタイムのレンダリングとより良い合成品質を達成します。バニラ3D-GSと比較して、MVSGaussianはより少ないトレーニング計算コストでより良い視点合成を実現します。DTU、Real Forward-facing、NeRF Synthetic、およびTanks and Templesデータセットに関する広範な実験により、MVSGaussianが説得力のある一般化能力、リアルタイムレンダリング速度、迅速なシーンごとの最適化を持つ最先端のパフォーマンスを達成することが確認されました。