استغلال الإضاءة القريبة لتقدير العمق الأحادي من مقاطع الفيديو التنظيرية

يمكن أن يمكّن تقدير العمق الأحادي في مقاطع الفيديو التنظيرية الجراحة المساعدة والروبوتية من الحصول على تغطية أفضل للعضو واكتشاف مشاكل صحية متنوعة. على الرغم من التقدم الواعد في تقدير عمق الصور الطبيعية السائدة، إلا أن التقنيات تؤدي بشكل سيء على الصور التنظيرية بسبب نقص الميزات الهندسية القوية وتأثيرات الإضاءة الصعبة. في هذه الورقة، نستفيد من الإشارات الفوتومترية، أي الضوء المنبعث من المنظار والمنعكس من السطح، لتحسين تقدير العمق الأحادي. نبدأ بإنشاء وظيفتين خسارة جديدتين مع متغيرات مشرفة وغير مشرفة تستخدم تمثيل الظل لكل بيكسل. ثم نقترح شبكة تحسين عمق جديدة (PPSNet) تستفيد من نفس تمثيل الظل لكل بيكسل. أخيرًا، نقدم تعلم نقل المعلم-الطالب لإنتاج خرائط عمق أفضل من كل من البيانات الاصطناعية تحت الإشراف والبيانات السريرية تحت الإشراف الذاتي. نحقق نتائج رائدة في مجموعة بيانات C3VD بينما نقوم بتقدير خرائط عمق عالية الجودة من البيانات السريرية. يمكن العثور على رمزنا، والنماذج المدربة مسبقاً، والمواد التكميلية على صفحة مشروعنا: https://ppsnet.github.io/