キャリブレーションされたフォトメトリックステレオおよびその先のための深層学習方法

フォトメトリックステレオは、複数の画像から物体の表面法線を回復します。これらの画像は異なる影の手がかりを持つものであり、すなわち、各ピクセルにおける表面の向きと強度の関係をモデル化します。フォトメトリックステレオは、優れたピクセル単位の解像度と細かな再構成の詳細を持っています。しかし、これは非ランバート面の反射によって引き起こされる非線形関係のため、複雑な問題です。最近、様々な深層学習手法が非ランバート面に対するフォトメトリックステレオのコンテキストにおいて強力な能力を示しています。本論文では、正投影カメラと方向性光源を利用した既存の深層学習ベースのキャリブレーションされたフォトメトリックステレオ手法の包括的なレビューを提供します。まず、入力処理、監督、およびネットワークアーキテクチャを含む異なる視点からこれらの手法を分析します。次に、最も広く使用されているベンチマークデータセットに対する深層学習フォトメトリックステレオモデルのパフォーマンスを要約します。これにより、深層学習ベースのフォトメトリックステレオ手法の進んだパフォーマンスが示されます。最後に、既存モデルの限界に基づいて提案を行い、今後の研究動向を提案します。