एक ही छवि से ज्यामिति संगतता के लिए डिफ्यूजन-आधारित 3D पुनर्निर्माण

एकल-छवि 3D पुनर्निर्माण अविश्वसनीय ज्यामिति और असंगत कैमरा स्थिति अनुमान के कारण चुनौतीपूर्ण बना हुआ है। हम एक डिफ्यूजन-आधारित पाइपलाइन पेश करते हैं जो एकल इनपुट छवि को स्थिर 3D गॉसियन स्प्लाटिंग के लिए उपयुक्त ज्यामिति-निर्मलित समान-बहु-दृश्य सेट में परिवर्तित करती है। हालांकि SV3D विविध दृष्टिकोणों का निर्माण करती है, इसके आउटपुट अक्सर ज्यामितीय विकृतियाँ और अस्थिर दृश्य पथ शामिल होते हैं। इन समस्याओं को हल करने के लिए, हम तीन-चरण की पूर्वप्रसंस्करण और ज्यामितीय初始化 पाइपलाइन लागू करते हैं: (1) संरचनात्मक रूप से विश्वसनीय फ़्रेमों का चयन करने के लिए निर्मित दृश्य पथ के साथ उपस्थिति-संगतता-आधारित फ़िल्टरिंग, (2) एक सुपर-रिज़ॉल्यूशन चरण जो उच्च-आवृत्ति टेक्सचर विवरणों को पुनर्स्थापित करता है, और (3) मजबूत COLMAP स्थिति अनुमान की अनुमति देने के लिए VGGT-निर्देशित ज्यामितीय प्रारंभकरण। यह पाइपलाइन कच्चे SV3D अनुक्रमों को स्थिर दृश्य बिंदुओं, बढ़ी हुई टेक्सचर और संगत ज्यामितीय संकेतों के साथ एक सामंजस्यपूर्ण समान-बहु-दृश्य डेटा सेट में परिवर्तित करती है। परिणामस्वरूप, हमारी विधि मौजूदा एकल-दृश्य दृष्टिकोणों की तुलना में ज्यामितीय संगतता और दृश्य स्थिरता के मामले में अधिक विश्वसनीय कैमरा रजिस्ट्रेशन और बेहतर पुनर्निर्माण गुणवत्ता प्राप्त करती है जो मजबूत पूर्व-निर्देशित ज्यामिति पर निर्भर करती है।