एकल छवियों से 360 डिग्री घूमने और ज़ूम करने सहित लचीले दृश्य 3डी दृश्य उत्पन्न करना चुनौतीपूर्ण है क्योंकि 3डी डेटा की कमी है। इस उद्देश्य के लिए, हम फ्लेक्सवर्ल्ड पेश करते हैं, जो दो प्रमुख घटकों से मिलकर बना एक नवीन ढांचा है: (1) एक मजबूत वीडियो-से-वीडियो (V2V) स्थायित्व मॉडल जो अपूर्ण इनपुट से उच्च गुणवत्ता वाले नवीन दृश्य चित्र उत्पन्न करता है जो एक मोटे दृश्य से रेंडर किया गया है, और (2) एक प्रगतिशील विस्तार प्रक्रिया जो एक पूर्ण 3डी दृश्य का निर्माण करती है। विशेष रूप से, एक उन्नत पूर्व-प्रशिक्षित वीडियो मॉडल और सटीक गहराई-निर्धारित प्रशिक्षण युग्मों का लाभ उठाकर, हमारा V2V मॉडल बड़े कैमरा स्थिति परिवर्तनों के तहत नवीन दृश्य उत्पन्न कर सकता है। इसके आधार पर, फ्लेक्सवर्ल्ड प्रगतिशील रूप से नई 3डी सामग्री उत्पन्न करता है और इसे भूगुणात्मक दृश्य संयोजन के माध्यम से वैश्विक दृश्य में एकीकृत करता है। व्यापक प्रयोग इस बात को साबित करते हैं कि फ्लेक्सवर्ल्ड एकल छवियों से उच्च गुणवत्ता वाले नवीन दृश्य वीडियो और लचीले दृश्य 3डी दृश्यों को उत्पन्न करने में प्रभावी है, जो मौजूदा नवीनतम पद्धतियों की तुलना में कई लोकप्रिय मैट्रिक्स और डेटासेट के तहत उत्कृष्ट दृश्य गुणवत्ता प्राप्त करता है। गुणात्मक रूप से, हम यह रेखांकित करते हैं कि फ्लेक्सवर्ल्ड 360 डिग्री रोटेशन और ज़ूम जैसे लचीले दृश्य के साथ उच्च-निष्ठा दृश्य उत्पन्न कर सकता है। परियोजना पृष्ठ: https://ml-gsai.github.io/FlexWorld.
चेन एट अल। (मोन,) ने इस प्रश्न का अध्ययन किया।