要約—3Dシーン再構築は、仮想現実、拡張現実、ゲーム、デジタルコンテンツ作成のアプリケーションにおいて不可欠な要素となっています。本プロジェクトは、複数の2D画像からフォトリアルなビューを合成する最先端の深層学習フレームワークであるニューラルラジアンスフィールド（NeRF）を利用した3Dシーン再構築の新しいアプローチを提案します。提案されたシステムは、シーン画像とそのカメラポーズのセットを取り込み、シーンを連続的な体積関数として表現するためにニューラルネットワークを訓練します。再構築品質を向上させるために、このアプローチは高度な画像前処理、最適化されたレイサンプリング、および深度を考慮したボリュームレンダリングを統合し、空間的なディテールの保持とより正確な深度知覚の向上を実現します。従来のNeRFベースの手法が不整合なディテールや合成データに依存することに苦しむのに対し、本研究は向上した忠実度と低減されたアーティファクトを持つ実シーン再構築に焦点を当てています。TensorFlowを使用して実装し、合成LEGOシーンデータで評価したところ、このシステムは高品質な3D再構築を効果的に生成し、リアルな視覚的一貫性を持つ新しい視点を作成します。最終的な出力は、インタラクティブな視覚化とレンダリングビデオを提供し、没入型デジタルコンテンツアプリケーションの可能性を示しています。
P et al. (Sat,) がこの問題を研究しました。