Garment3DGen: 3D衣服スタイライズとテクスチャ生成

Garment3DGenを紹介します。これは、単一の入力画像をガイダンスとして与えることで、ベースメッシュから3D衣服資産を合成する新しい方法です。我々が提案するアプローチにより、ユーザーは実画像やテキストプロンプトによって生成された合成画像の両方に基づいて3Dテクスチャ付き衣服を生成できます。生成された資産は直接人体に drape され、シミュレーションされることができます。まず、画像から3Dへの拡散方法の最近の進展を活用して3D衣服のジオメトリを生成します。しかし、これらのジオメトリはダウンサンプルタスクに直接利用できないため、擬似グラウンドトゥルースとして使用し、生成された3Dターゲットに合わせて基本テンプレートメッシュを変形させるメッシュ変形最適化手順を設定することを提案します。次に、入力ベースメッシュが望ましいターゲットに自由に変形できるように設計された損失を慎重に導入し、メッシュの品質とトポロジーを維持しながら、シミュレーションが可能な状態にします。最後に、テクスチャ推定モジュールが高忠実度のテクスチャマップを生成し、全体的かつ局所的に一貫性があり、入力ガイダンスを忠実に捉え、生成された3D資産をレンダリングすることを可能にします。Garment3DGenを使用することで、ユーザーはアーティストの介入なしに自分の好みに合ったテクスチャ付き3D衣服を生成できます。ユーザーは、生成したい衣服を説明するテキストプロンプトを提供することで、シミュレーション可能な3D資産を生成できます。さまざまな資産（実際のものと生成されたもの）について、多くの定量的および定性的比較を示し、シミュレーション可能な3D衣服をどのように生成できるかのユースケースを提供します。