सेट ट्रांसफार्मर: ध्यान आधारित क्रम-निरपेक्ष न्यूरल नेटवर्क का एक ढांचा

कई मशीन लर्निंग कार्य जैसे कि मल्टीपल इंस्टेंस लर्निंग, 3डी आकार पहचान, और कुछ शॉट छवि वर्गीकरण उदाहरणों के सेट पर परिभाषित होते हैं। चूंकि ऐसे समस्याओं के समाधान सेट के तत्वों की क्रम पर निर्भर नहीं करते हैं, इसलिए उन्हें हल करने के लिए उपयोग किए जाने वाले मॉडल क्रम-निरपेक्ष होने चाहिए। हम एक ध्यान आधारित न्यूरल नेटवर्क मॉड्यूल, सेट ट्रांसफार्मर, पेश करते हैं, जिसे इनपुट सेट में तत्वों के बीच इंटरैक्शन मॉडल करने के लिए विशेष रूप से डिजाइन किया गया है। मॉडल में एक एन्कोडर और एक डिकोडर होता है, जो दोनों ध्यान तंत्र पर निर्भर करते हैं। गणनात्मक जटिलता को कम करने के प्रयास में, हम एक ध्यान योजना पेश करते हैं जो स्पार्स गॉसियन प्रक्रिया साहित्य से प्रेरित बिंदु विधियों द्वारा प्रेरित है। यह सेट में तत्वों की संख्या के फलन में स्व-ध्यान की गणना के समय को चौकोर से रैखिक तक कम कर देता है। हम यह दिखाते हैं कि हमारा मॉडल सैद्धांतिक रूप से आकर्षक है और हम इसे विभिन्न कार्यों पर मान्य करते हैं, सेट-संरचित डेटा के लिए हाल के तरीकों की तुलना में सर्वश्रेष्ठ प्रदर्शन का प्रदर्शन करते हैं।