Key points are not available for this paper at this time.
ऑप्टिकल सिस्टम्स के डिफ़रेंशिएबल सिमुलेशन को डीप लर्निंग-आधारित रीकंस्ट्रक्शन नेटवर्क्स के साथ संयोजित किया जा सकता है, जिससे ऑप्टिकल एन्कोडर और डीप डिकोडर दोनों के एंड-टू-एंड (E2E) ऑप्टिमाइज़ेशन के माध्यम से उच्च प्रदर्शन कम्प्यूटेशनल इमेजिंग सक्षम होती है। इसने लोकल ऑप्टिकल एन्कोडर्स के ऑप्टिमाइज़ेशन के माध्यम से 3D लोकलाइज़ेशन माइक्रोस्कोपी, डेप्थ एस्टीमेशन और लेंसलेस फ़ोटोग्राफ़ी जैसे इमेजिंग अनुप्रयोगों को सक्षम बनाया है। अधिक चुनौतीपूर्ण कम्प्यूटेशनल इमेजिंग अनुप्रयोग, जैसे कि 3D स्नैपशॉट माइक्रोस्कोपी जो 3D वॉल्यूम को एकल 2D छवियों में कंप्रेस करती है, के लिए एक अत्यधिक नॉन-लोकल ऑप्टिकल एन्कोडर की आवश्यकता होती है। हम दिखाते हैं कि मौजूदा डीप नेटवर्क डिकोडर्स में लोकैलिटी बायस होता है जो ऐसे अत्यधिक नॉन-लोकल ऑप्टिकल एन्कोडर्स के ऑप्टिमाइज़ेशन को रोकता है। हम ग्लोबल कर्नेल फूरियर कनवोल्यूशनल न्यूरल नेटवर्क्स (FourierNets) का उपयोग करके एक शैलो न्यूरल नेटवर्क आर्किटेक्चर पर आधारित डिकोडर के साथ इसका समाधान करते हैं। हम दिखाते हैं कि अत्यधिक नॉन-लोकल DiffuserCam ऑप्टिकल एन्कोडर द्वारा कैप्चर की गई फ़ोटोग्राफ़्स के रीकंस्ट्रक्शन में FourierNets मौजूदा डीप नेटवर्क-आधारित डिकोडर्स से बेहतर प्रदर्शन करते हैं। इसके अलावा, हम दिखाते हैं कि FourierNets 3D स्नैपशॉट माइक्रोस्कोपी के लिए अत्यधिक नॉन-लोकल ऑप्टिकल एन्कोडर्स के E2E ऑप्टिमाइज़ेशन को सक्षम बनाते हैं। FourierNets को बड़े पैमाने के मल्टी-GPU डिफ़रेंशिएबल ऑप्टिकल सिमुलेशन के साथ जोड़कर, हम पूर्व की अत्याधुनिक तकनीकों की तुलना में 170 से 7372 गुना बड़े नॉन-लोकल ऑप्टिकल एन्कोडर्स को ऑप्टिमाइज़ करने में सक्षम हैं, और एक प्रोग्रामेबल माइक्रोस्कोप के साथ ROI-प्रकार विशिष्ट ऑप्टिकल एन्कोडिंग की क्षमता प्रदर्शित करते हैं।
Deb et al. (Wed,) ने इस प्रश्न का अध्ययन किया।