COSMU: モノキュラー非制約画像からの完全な3D人体形状

本研究では、モノキュラー非制約画像を活用して、与えられたターゲット画像から完全な3D人体形状を再構築するための新しいフレームワークを提案します。本研究の目的は、入力ターゲットには見えない再構築された人体の領域における高品質の詳細を再現することです。提案された方法論は、単一画像から3D人体形状を再構築する既存アプローチの限界に対処しており、遮蔽された身体部分の形状詳細を再現することができません。モノキュラー入力の欠落情報は、複数のカメラからキャプチャされた複数の視点を使用することで回復できます。しかし、マルチビュー再構築方法は、正確にキャリブレーションされ、登録された画像を必要としますが、これは現実世界のシナリオでは取得が難しい場合があります。ターゲットのRGB画像と、単一のカメラを使用して取得された同一個体のキャリブレーションされていない未登録の複数画像のコレクションが与えられた場合、我々は完全な3D人体形状を生成するための新しいフレームワークを提案します。ターゲット入力画像に登録された人物の2Dマルチビュー法線マップを生成するための新しいモジュールを導入します。このモジュールは、身体部分ベースの参照選択と身体部分ベースの登録で構成されています。生成された2D法線マップは、観測された領域と遮蔽された領域の詳細の再現を確実にする3D形状の暗黙的表現を推定するマルチビューアテンションベースのニューラルインプリシットモデルによって処理されます。広範な実験により、提案したアプローチは、パラメトリックモデルを使用せずに関連方法と比較して、3D衣服を着た人間の形状の非可視領域においてより高品質な詳細を推定することを示しています。