RGB↔X: تحليل الصور وتوليفها باستخدام نماذج انتشار مدركة للمادة والإضاءة

قد تبدو المجالات الثلاثة للرندر الواقعي المتقدم، الرندر المعكوس لكل بكسل، وتوليف الصور التوليدية كأنها مجالات فرعية منفصلة وغير مرتبطة بالرسوميات والرؤية. ومع ذلك، أظهرت الأعمال الأخيرة تحسين تقدير القنوات الداخلية لكل بكسل (الألبيدو، الخشونة، المعدنيّة) استنادًا إلى بنية انتشار؛ ونسمي هذا مشكلة RGBX. نحن نظهر أيضًا أن المشكلة العكسية لتوليف الصور الواقعية استنادًا إلى القنوات الداخلية، XRGB، يمكن معالجتها أيضًا في إطار انتشار. مع التركيز على مجال الصور للمشاهد الداخلية، نقدم نموذج انتشار محسّن لـ RGBX، والذي يقدّر أيضًا الإضاءة، بالإضافة إلى أول نموذج انتشار XRGB قادر على توليف صور واقعية من (قنوات داخلية كاملة أو جزئية). يستكشف نموذج XRGB لدينا منطقة وسطى بين الرندرة التقليدية والنماذج التوليدية: يمكننا تحديد فقط بعض خصائص المظهر التي ينبغي اتباعها، ونعطي حرية للنموذج لتخيل نسخة مقبولة من الباقي. هذه المرونة تجعل من الممكن استخدام مزيج من مجموعات البيانات التدريبية غير المتجانسة، التي تختلف في القنوات المتاحة. نستخدم عدة مجموعات بيانات موجودة ونوسعها ببياناتنا الصناعية والحقيقية، مما ينتج عنه نموذج قادر على استخراج خصائص المشهد أفضل من الأعمال السابقة وتوليد صور واقعية للغاية لمشاهد داخلية.