संरचित ध्यान नेटवर्क

ध्यान नेटवर्क ने गहरे तंत्रिका नेटवर्क के भीतर श्रेणीगत अनुमान को एम्बेड करने के लिए एक प्रभावी दृष्टिकोण के रूप में स्वयं को सिद्ध किया है। हालांकि, कई कार्यों के लिए हम बिना अंत से अंत तक प्रशिक्षण को छोड़ने के समृद्ध संरचनात्मक निर्भरता को मॉडल करना चाहते हैं। इस कार्य में, हम गहरे नेटवर्क में ग्राफिकल मॉडल का उपयोग करते हुए समृद्ध संरचनात्मक वितरणों को शामिल करने के प्रयोग करते हैं। हम दिखाते हैं कि ये संरचित ध्यान नेटवर्क बुनियादी ध्यान प्रक्रिया के सरल विस्तार हैं, और ये मानक सॉफ्ट-चयन दृष्टिकोण से परे ध्यान को बढ़ाने की अनुमति देते हैं, जैसे कि आंशिक खंडन या उप-पेड़ों पर ध्यान केंद्रित करना। हम संरचित ध्यान नेटवर्क के दो विभिन्न वर्गों के साथ प्रयोग करते हैं: एक रैखिक-श्रृंखला कंडीशनल रैंडम फील्ड और एक ग्राफ-आधारित पार्सिंग मॉडल, और यह बताते हैं कि ये मॉडल व्यावहारिक रूप से तंत्रिका नेटवर्क परतों के रूप में कैसे लागू किए जा सकते हैं। प्रयोग दिखाते हैं कि यह दृष्टिकोण संरचनात्मक पूर्वाग्रहों को शामिल करने के लिए प्रभावी है, और संरचित ध्यान नेटवर्क कई कृत्रिम और वास्तविक कार्यों पर बुनियादी ध्यान मॉडल को पार करते हैं: वृक्ष ट्रांसडक्शन, न्यूरल मशीन अनुवाद, प्रश्न उत्तर, और प्राकृतिक भाषा अनुमान। हम आगे पाते हैं कि इस तरीके से प्रशिक्षित मॉडल दिलचस्प अस्वीकृत छिपी हुई प्रस्तुतियों को सीखते हैं जो सरल ध्यान को सामान्यीकृत करते हैं।