SVGS: ガウシアンスプラッティングによる単一ビューから3Dオブジェクト編集への移行

テキスト駆動の3Dシーン編集は、その利便性とユーザーフレンドリーさから considerable な関心を集めています。しかし、Neural Radiance Fields (NeRF) のような暗黙の3D表現に依存する手法は、複雑なシーンのレンダリングにおいて効果的であるものの、処理速度が遅く、シーンの特定の領域に対する制御が限られているという制約があります。さらに、Instruct-NeRF2NeRF や GaussianEditor を含む既存のアプローチは、テキスト指示を実行する際に異なるビュー間で一貫性のない結果を頻繁に生成します。この不一致はモデル全体のパフォーマンスに悪影響を及ぼし、編集結果の一貫性と編集効率のバランスを取る作業を複雑にします。これらの課題に対応するため、我々はガウシアンスプラッティングに基づく単一ビューのテキスト駆動編集手法であるSingle-View to 3D Object Editing via Gaussian Splatting (SVGS)という新しい手法を提案します。具体的には、テキスト指示に応じて、多視点拡散モデルに基づく単一ビュー編集戦略を紹介し、一貫した編集結果を得られるビューのみを利用して3Dシーンを再構築します。さらに、3D表現として疎な3Dガウシアンスプラッティングを採用し、編集効率を大幅に向上させます。さまざまなシーン設定において、SVGSと既存のベースライン手法を比較分析し、その結果、SVGSが編集能力と処理速度の両方で対抗手法を上回ることが示され、3D編集技術における重要な進展を示しています。詳細については、プロジェクトページをご覧ください: https://amateurc.github.io/svgs.github.io/ 。