CIPS-3D++: GANs عالية الدقة في الزمن الحقيقي من النهاية إلى النهاية الواعية بـ 3D للانعكاس والتصميم.

تُحقق GANs المعتمدة على الأسلوب نتائج متقدمة في توليد الصور عالية الجودة، ولكن تفتقر إلى التحكم الصريح والدقيق في وضعيات الكاميرا. وقد حققت GANs المعتمدة على NeRF تقدماً كبيراً نحو توليد الصور الواعية بـ 3D. ومع ذلك، تعتمد الطرق إما على عوامل التفاف ليست محورية الدوران، أو تستخدم إجراءات تدريب معقدة لكنها غير مثلى لدمج كل من بنى NeRF و CNN التحتية، مما يؤدي إلى صور غير قوية ومنخفضة الجودة مع عبء حسابي كبير. يقدم هذا المقال نسخة مطورة تُدعى CIPS-3D++، تهدف إلى GANs واعية بـ 3D ذات متانة وجودة عالية وكفاءة عالية. من جهة، يتميز نموذجنا الأساسي CIPS-3D، الذي تم تو encapsulated في بنية معتمدة على الأسلوب، بمشفر شكل ثلاثي الأبعاد قائم على NeRF ضحل وموضح صور ثنائية الأبعاد عميق قائم على MLP، مما يحقق توليد/تحرير صور قوية مع عدم الحساسية للدوران. من جهة أخرى، ترث CIPS-3D++ المقترحة عدم الحساسية للدوران من CIPS-3D، جنباً إلى جنب مع التنظيم الهندسي وعمليات زيادة الدقة، مما يشجع على توليد/تحرير صور عالية الجودة وعالية الدقة مع كفاءة حسابية ممتازة. تم تدريب CIPS-3D++ على صور فردية خام، بدون أي إضافات، محطماً سجلات جديدة لتوليد الصور الواعية بـ 3D، مع FID مثير للإعجاب يبلغ 3.2 على FFHQ عند دقة 1024×1024. في الوقت نفسه، تعمل CIPS-3D++ بكفاءة وتتمتع بذاكرة GPU منخفضة بحيث يمكن تدريبها من النهاية إلى النهاية على صور عالية الدقة مباشرة، على عكس الطرق السابقة البديلة/التقدمية. بناءً على بنية CIPS-3D++، نقترح خوارزمية انعكاس GAN الواعية بـ 3D تُدعى FlipInversion، والتي يمكن أن تعيد بناء الكائن ثلاثي الأبعاد من صورة عرض فردية. كما نقدم طريقة تصميم واعية بـ 3D للصور الحقيقية تعتمد على CIPS-3D++ و FlipInversion. بالإضافة إلى ذلك، نقوم بتحليل مشكلة التماثل المرآتي التي تعاني في التدريب، ونحلها من خلال تقديم مميز مساعد لشبكة NeRF. بشكل عام، توفر CIPS-3D++ نموذج قاعدة قوي يمكن أن يعمل كمنصة لنقل طرق تحرير الصور المعتمدة على GAN من 2D إلى 3D.