特徴融合とチャネルアテンションに基づく改良された新しいビュー合成アプローチ

単一画像の新しいビュー合成により、単一の入力画像から異なるビューのターゲット画像を生成することができます。ピクセル生成手法は新しいビュー合成の主なアプローチの1つであり、従来の手法は通常、入力画像を使用して新しいビューでのターゲット画像を推測します。しかし、ソースビューの入力画像からの特徴だけでは、特に単一の入力画像しか取得できない場合に良好なターゲット画像を生成するには不十分な場合があります。本論文では、入力画像と変形画像からの特徴を融合して新しいビューでピクセルを共同生成するディープラーニングベースの新しいビュー合成アプローチを提案します。ここでの変形画像は、推定された深度を介して入力画像のピクセルをターゲットビューに投影することによって生成された中間出力です。推定された深度と生成された変形画像は完璧ではないため、ターゲットピクセルを生成する際にエラーが導入されることになります。これらを軽減し、入力画像と変形画像からの特徴間でより良いチャネル情報を確保するために、チャネルアテンションブロックが使用されます。標準のベンチマークデータセットに関する実験結果は、我々の手法が優れたビュー合成結果を生産し、他の最先端の手法を上回ることを示しています。