正確なローカル顔属性編集のための参照ベースの3Dセマンティック対応フレームワーク

顔属性編集は、特定の特徴を持つリアルな顔を合成し、リアルな外観を維持する上で重要な役割を果たします。技術の進歩にもかかわらず、異なる角度からの顔の一貫した正確な表現に必要な、正確で3D対応の属性修正を達成することには課題が残っています。現在の手法はセマンティック絡みの問題に苦しんでおり、画像の完全性を維持しながら属性を取り入れるための効果的なガイダンスが不足しています。これらの問題に対処するために、潜在ベースと参照ベースの編集手法の強みを融合させた新しいフレームワークを導入します。私たちのアプローチは、参照画像から属性を三次元(space)に埋め込むために3D GAN逆転技術を使用し、複数の視点からの3Dの一貫性とリアルな視覚を確保します。ブレンディング技術と予測セマンティックマスクを利用して、正確な編集領域を特定し、それを参照画像の文脈的なガイダンスと融合させます。その後、ターゲット外の領域の完全性を保持するために粗から細へのインペインティング戦略を適用し、リアリズムを大幅に向上させます。私たちの評価は、多様な編集タスクにおいて優れた性能を示し、リアルで実用的な顔属性編集におけるフレームワークの有効性を検証します。