GaussianSR: 2D拡散事前を用いた3Dガウス超解像

低解像度の入力ビューから高解像度の新しいビュー合成（HRNVS）を実現することは、高解像度データの不足により困難な課題です。従来の手法は、低解像度の入力ビューから高解像度のニューラルラジアンスフィールド（NeRF）を最適化しますが、レンダリング速度が遅いという欠点があります。本研究では、高品質の画像をより高速に生成できる3Dガウススプラッティング（3DGS）に基づいて手法を構築します。より高解像度の合成に必要なデータの不足を緩和するために、スコア蒸留サンプリング（SDS）を用いて2Dの知識を3Dに蒸留することで、オフ・ザ・シェルフの2D拡散事前を活用することを提案します。しかし、生成事前からもたらされるランダム性のために、SDSをガウスベースの3D超解像に直接適用すると、望ましくない冗長な3Dガウスポリゴンが発生します。この問題を軽減するために、SDSによって導入された確率的な乱れを減少させるための2つのシンプルで効果的な技術を導入します。具体的には、1) アニーリング戦略を用いてSDS内の拡散タイムステップの範囲を縮小すること; 2) 密度化中に冗長なガウスポリゴンをランダムに破棄することです。広範な実験により、提案したGaussainSRは、合成データセットと実世界のデータセットの両方で、低解像度の入力のみでHRNVSの高品質な結果を達成できることが示されています。プロジェクトページ: https://chchnii.github.io/GaussianSR/