GTR: تحسين نماذج إعادة البناء ثلاثية الأبعاد الكبيرة من خلال تحسين الهندسة والملمس

نقترح نهجًا جديدًا لإعادة بناء الشبكة ثلاثية الأبعاد من صور متعددة الرؤى. تستلهم طريقتنا من نماذج إعادة البناء الكبيرة مثل LRM التي تستخدم مولد ثلاثي الطائرات يعتمد على المحولات ونموذج حقل الإشعاع العصبي (NeRF) المدرب على الصور متعددة الرؤى. ومع ذلك، في طريقتنا، نقدم عدة تعديلات هامة تسمح لنا بتحسين جودة إعادة البناء ثلاثية الأبعاد بشكل ملحوظ. أولاً، نقوم بفحص بنية LRM الأصلية ونجد عدة نقاط قصور. بعدها، نقدم تعديلات مناسبة على بنية LRM، مما يؤدي إلى تحسين تمثيل صور متعددة الرؤى وتدريب أكثر كفاءة حسابيًا. ثانيًا، من أجل تحسين إعادة البناء الهندسي وتمكين الإشراف بدقة الصورة الكاملة، نقوم باستخراج الشبكات من حقل NeRF بطريقة قابلة للاشتقاق ونقوم بتعديل نموذج NeRF من خلال تقديم الشبكة. تسمح لنا هذه التعديلات بتحقيق أداء رائد في المجال على كل من مقاييس التقييم ثنائية وثلاثية الأبعاد، مثل PSNR بمقدار 28.67 على مجموعة بيانات Google Scanned Objects (GSO). رغم هذه النتائج المتفوقة، لا يزال نموذجنا القائم على التغذية الأمامية يعاني في إعادة بناء الملمس المعقد، مثل النصوص والبورتريهات على الأصول. لمعالجة ذلك، نقدم إجراءً خفيف الوزن لتحسين الملمس لكل حالة. يقوم هذا الإجراء بتعديل تمثيل الثلاثي الطائرات ونموذج تقدير لون NeRF على سطح الشبكة باستخدام الصور متعددة الرؤى المدخلة في 4 ثوانٍ فقط. تعمل هذه التحسينات على تحسين PSNR إلى 29.79 وتحقق إعادة بناء دقيقة للملامس المعقدة، مثل النصوص. بالإضافة إلى ذلك، يمكّن نهجنا العديد من التطبيقات المختلفة، بما في ذلك توليد 3D من النص أو الصورة.