WE-GS: تمثيل غاوسي ثلاثي الأبعاد فعال في البرية لمجموعات الصور غير المقيدة

إن توليد المشاهد الجديدة (NVS) من مجموعات الصور غير المقيدة يمثل تحديًا في الرسوميات الحاسوبية. مؤخرًا، أظهر تطبيق غاوسي ثلاثي الأبعاد (3DGS) وعدًا في توليد المشاهد الجديدة الواقعية والزمن الحقيقي للمشاهد الثابتة. استنادًا إلى 3DGS، نقترح إطار عمل فعال للتصيير القابل للاشتقاق معتمد على النقاط لإعادة بناء المشهد من مجموعات الصور. الابتكار الرئيسي لدينا هو وحدة نقل معاملات التوافقيات الكروية المعتمدة على المتبقيات التي تعدل 3DGS وفقًا لظروف الإضاءة المتغيرة ومعالجة الصورة الفوتومترية اللاحقة. يمكن حساب هذه الوحدة الخفيفة مسبقًا وتضمن انتقال فعال للتدرجات من الصور المرسومة إلى خصائص غاوسي الثلاثية الأبعاد. بالإضافة إلى ذلك، نلاحظ أن مشفر المظهر ومنبئ القناع العابر، وهما الجزآن الأكثر أهمية في NVS من مجموعات الصور غير المقيدة، يمكن أن يكونا مفيدين بشكل متبادل. نقدم وحدة انتباه مكاني خفيفة القابل للتوصيل واللعب للتنبؤ في الوقت نفسه بالعراقيل العابرة وتمثيل المظهر الكامن لكل صورة. بعد التدريب والمعالجة المسبقة، يتماشى أسلوبنا مع تنسيق 3DGS القياسي وخط أنابيب التصيير، مما يسهل التكامل السلس في تطبيقات 3DGS المتنوعة. تظهر التجارب الواسعة على مجموعات بيانات متنوعة أن أسلوبنا يتفوق على الأساليب الحالية من حيث جودة التصيير لتوليد المشاهد الجديدة وتوليف المظهر مع سرعة توافق عالية وسرعة تصيير عالية.