संदर्भ-सचेत टोकनाइजेशन के साथ कुशल विश्व मॉडल

गहरे सुधारात्मक शिक्षण (RL) विधियों को बढ़ाना एक महत्वपूर्ण चुनौती है। जनरेटीव मॉडलिंग में हुए विकासों के बाद, मॉडल-आधारित RL एक मजबूत दावेदार के रूप में सामने आया है। अनुक्रम मॉडलिंग में हालिया प्रगति प्रभावी ट्रांसफार्मर-आधारित विश्व मॉडल में परिणत हुई है, हालांकि, वातावरणों का सटीक अनुकरण करने के लिए आवश्यक लंबे टोकनों की श्रृंखला के कारण भारी गणनाओं की कीमत पर। इस कार्य में, हम -IRIS का प्रस्ताव रखते हैं, एक नया एजेंट जिसमें एक विश्व मॉडल आर्किटेक्चर होता है जो समय चरणों के बीच अद्वितीय डेल्टाओं को कोड करने वाला एक विशिष्ट ऑटोएन्कोडर और भविष्य के डेल्टाओं की भविष्यवाणी करने वाला एक आत्म-प्रवृत्त ट्रांसफार्मर शामिल है जो निरंतर टोकनों के साथ विश्व की वर्तमान स्थिति को संक्षेप में प्रस्तुत करता है। क्राफ्टर बेंचमार्क में, -IRIS कई फ्रेम बजट पर एक नया शीर्ष स्तर स्थापित करता है, जबकि पिछले ध्यान-आधारित दृष्टिकोणों की तुलना में प्रशिक्षण में एक ऑर्डर ऑफ मैग्निट्यूड तेज है। हम अपना कोड और मॉडल https://github.com/vmicheli/delta-iris पर जारी करते हैं।