लेटेंट डिफ्यूजन मॉडलों के माध्यम से ग्रैस्पिंग मोशन जनरेशन

सार: वस्तुओं के लिए विश्वसनीय हाथ पहुँच और पकड़ने की गतियों को उत्पन्न करने की तकनीकें डिजाइन करना एक पुरानी समस्या है जिसका कई अनुप्रयोग कंप्यूटर ग्राफिक्स, रोबोटिक्स, और वर्चुअल रियलिटी में पाया जाता है। हाल के उन्नत तरीकों के बावजूद जो केवल वास्तविक हाथ पकड़ने की गतियों के संग्रह से सीखने पर निर्भर हैं, उत्पन्न की जा सकने वाली गतियों की विविधता सीमित रहती है। इस पेपर में, हम एक मॉडल डिजाइन करते हैं जो समृद्ध और विविध पहुँचने और पकड़ने की गतियों को उत्पन्न करना सीखता है जबकि एक पूर्ण मानव हाथ के लिए विश्वसनीय अंतिम पकड़ को बनाए रखता है। हमारा डिजाइन एक लेटेंट डिफ्यूजन मॉडल पर आधारित है जिसे पकड़ सहसंधान की लेटेंट प्रस्तुति द्वारा कंडीशंड किया जाता है। पकड़ सहसंधान के लिए, हमने एक कंडीशनल वैरिएशनल ऑटोएंकोडर (cVAE) मॉडल प्रशिक्षित किया ताकि लक्ष्य वस्तु और वांछनीय पकड़ दोनों के लिए लेटेंट स्थान सीखा जा सके। फिर, हमने एक बड़े पैमाने पर सिंथेटिक डेटासेट का उपयोग करके एक ट्रांसफॉर्मर-आधारित VAE को प्रशिक्षित किया ताकि गति का लेटेंट प्रतिनिधित्व एक लेटेंट प्रायर के रूप में सीखा जा सके। अंत में, हमारा LDM इस लेटेंट प्रायर को इनपुट के रूप में लेता है, पकड़ सहसंधान को एक कंडीशन के रूप में उपयोग करता है, और नई वस्तुओं के लिए गतियाँ उत्पन्न करता है बिना फिर से प्रशिक्षण के। उन बेसलाइन तकनीकों की तुलना में जो cVAE का उपयोग करते हुए सीधे नेटवर्क में लक्ष्य वस्तु की विशेषताओं जैसी स्थितियों को संयोजित करती हैं, हम दिखाते हैं कि LDMs का उपयोग जिनमें गति के लेटेंट प्रतिनिधित्व को पकड़ सहसंधान लेटेंट के साथ मिलाया जाता है, अधिक गुणात्मक परिणाम देना एवं गतियों की विविधता बढ़ाना संभव बनाता है।