あなたが見るものはあなたがGANするもの: 3D GANにおける高忠実度ジオメトリのためにすべてのピクセルをレンダリングする

3D-aware Generative Adversarial Networks (GANs)は、2D画像のコレクションからシーンのマルチビュー一貫性のある画像や3Dジオメトリを生成することを学ぶ上で、驚異的な進歩を示してきました。しかし、ボリュームレンダリングにおける密なサンプリングの大きなメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、ポストプロセッシングの2Dスーパーレゾリューションを用いた低解像度レンダリングを行わざるを得ませんでした。これにより、マルチビューの一貫性や解像されたジオメトリの質が犠牲になっています。その結果、3D GANは2D画像に存在する豊かな3Dジオメトリを完全に解決できていません。本研究では、神経ボリュームレンダリングを本来の2D画像のはるかに高い解像度にスケールする技術を提案し、前例のない詳細さで細かい3Dジオメトリを解決します。我々のアプローチは、3D GANのトレーニングのための神経レンダリングを加速するために、最大5倍少ない深度サンプルを使用する学習ベースのサンプラーを採用しています。これにより、トレーニングと推論中にポストプロセッシングのスーパーレゾリューションなしでフル解像度画像の「すべてのピクセルを明示的にレンダリングする」ことが可能になります。高品質の表面ジオメトリを学習するための戦略と共に、我々の方法は高解像度の3Dジオメトリと厳密にビュー一貫性のある画像を合成し、ポストプロセッシングのスーパーレゾリューションに依存するベースラインと同等の画像品質を維持します。我々はFFHQおよびAFHQにおいて最先端の3Dジオメトリ品質を実証し、3D GANにおける3D形状の教師なし学習の新しい標準を設定します。”},{