学習された適応型多平面画像による野外における単一視点合成

本論文では、野外の写真に対して新しい視点を合成するという難しい課題に取り組みます。既存の手法は、モノキュラー深度推定と階層的な深度表現を用いた色塗りで有望な結果を示しています。しかし、これらの手法は複雑な3Dジオメトリを持つシーンを処理する能力に限界があります。私たちは、多平面画像（MPI）表現に基づく新しい方法を提案します。野外の多様なシーンレイアウトに対応し、高次元MPIコンテンツの生成の難しさに取り組むために、平面深度調整用の新しいモジュールと深度を考慮した色予測用の別のモジュールからなるネットワーク構造を設計しました。前者は、RGBDコンテキスト特徴と注意機構を使用して初期の平面位置を調整します。調整された深度値を考慮して、後者は各平面の色と密度を予測し、適切な平面間相互作用を特徴マスキング戦略によって実現します。我々の方法を訓練するため、単純かつ効果的なワープバック戦略を用いて、制約のない単一視点画像コレクションから大規模なステレオ訓練データを構築します。合成データセットと実データセットの両方での実験により、我々の訓練されたモデルが非常に良好に機能し、最先端の結果を達成することを示しています。