تعلم التصوير الفوتومتري الشرطي بميزات عالية الدقة

يهدف التصوير الفوتومتري إلى إعادة بناء الهندسة ثلاثية الأبعاد من خلال استعادة اتجاه السطح الكثيف لشيء ثلاثي الأبعاد من عدة صور تحت إضاءة مختلفة. الطرق التقليدية عادة ما تعتمد على نماذج عكسية مبسطة لجعل اتجاه السطح قابلًا للحساب. ومع ذلك، فإن الانعكاسات الحقيقية للسطوح تحد بشكل كبير من قابلية تطبيق مثل هذه الطرق على الأجسام الواقعية. بينما تم استخدام الشبكات العصبية العميقة للتعامل مع السطوح غير اللامبرتية، فإن هذه الطرق تتعرض للتشويش والأخطاء، خاصة في المناطق ذات التردد العالي (مثل التموجات والحواف)، الناتجة عن التحيز الطيفي: حيث تفضل الشبكات العصبية التمثيلات منخفضة التردد، مما يظهر تحيزًا نحو الدوال الملساء. لذلك، في هذه الورقة، نقترح شبكة شرطية ذاتية التعلم مع ميزات متعددة المقاييس للتصوير الفوتومتري، مما يتجنب إعادة البناء الضبابية في مثل هذه المناطق. تشمل استكشافتنا: (i) هيكل دمج الميزات متعددة المقاييس، الذي يحتفظ بالتمثيلات عالية الدقة واستخراج الميزات العميقة، في نفس الوقت، و (ii) تحسين الدالة الشرطية المعلمة المحفزة بالتدرج (GM-CondConv) في شبكة التصوير الفوتومتري لدينا، مع مجموعات مختلفة من نوى الالتفاف لأسطح مختلفة. تظهر التجارب المكثفة على مجموعات بيانات مرجعية عامة أن طريقتنا المتوازنة للتصوير الفوتومتري تفوق أفضل ما هو موجود في هذه المجال.