रेंडर और डिफ्यूज़: डायफ्यूज़न-आधारित व्यवहार क्लोनिंग के लिए छवि और क्रिया स्थानों को संरेखित करना

रोबोट लर्निंग के क्षेत्र में, उच्च-आयामी अवलोकनों जैसे RGB छवियों और निम्न-स्तरीय रोबोट क्रियाओं के बीच जटिल मानचित्रण, जो दो स्वाभाविक रूप से बहुत अलग स्थान हैं, एक जटिल शिक्षण समस्या बनाता है, विशेष रूप से सीमित मात्रा में डेटा के साथ। इस कार्य में, हम रेंडर और डिफ्यूज़ (आर&D) का परिचय देते हैं, जो एक विधि है जो रोबोट के 3डी मॉडल के आभासी रेंडर का उपयोग करके निम्न-स्तरीय रोबोट क्रियाओं और RGB अवलोकनों को छवि स्थान के भीतर एकीकृत करती है। इस संयुक्त अवलोकन-क्रिया प्रतिनिधित्व का उपयोग करते हुए, यह एक सीखे हुए डिफ्यूज़न प्रक्रिया का उपयोग करके निम्न-स्तरीय रोबोट क्रियाओं की गणना करता है जो रोबोट के आभासी रेंडर को आवृत्तिगत रूप से अपडेट करता है। यह स्थान एकीकरण शिक्षण समस्या को सरल बनाता है और प्रेरक पूर्वाग्रहों को पेश करता है जो नमूना दक्षता और स्थानिक सामान्यीकरण के लिए महत्वपूर्ण हैं। हम सिमुलेशन में आर&D के कई परिवर्तनों का पूरी तरह से मूल्यांकन करते हैं और वास्तविक दुनिया में छह दैनिक कार्यों पर उनकी उपयोगिता को प्रदर्शित करते हैं। हमारे परिणाम दर्शाते हैं कि आर&D मजबूत स्थानिक सामान्यीकरण क्षमताएँ दिखाता है और सामान्य छवि-से-क्रिया विधियों की तुलना में अधिक नमूना दक्षता है।