विशिष्ट मान यथार्थांक के साथ गहन न्यूरल नेटवर्क ध्वनिक मॉडलों का पुनर्गठन

हाल ही में प्रस्तावित गहन न्यूरल नेटवर्क (DNN) कई बड़े शब्दावली निरंतर भाषण मान्यता (LVCSR) कार्यों में महत्वपूर्ण सटीकता सुधार प्राप्त करता है। हालांकि, DNN को पारंपरिक प्रणालियों की तुलना में बहुत अधिक पैरामीटर की आवश्यकता होती है, जो ऑनलाइन मूल्यांकन के दौरान बड़े लागत लाता है, और साथ ही कई दृश्यों में DNN के अनुप्रयोग को सीमित करता है। इस पेपर में हम DNN पर अपने नए प्रयास को प्रस्तुत करते हैं जिसका उद्देश्य मॉडल आकार को कम करना है जबकि सटीकता सुधार को बनाए रखना है। हम DNN में वजन मैट्रिक्स पर विशिष्ट मान यथार्थांक (SVD) लागू करते हैं, और फिर मूल मैट्रिक्स की अंतर्निहित विरलता के आधार पर मॉडल को पुनर्गठित करते हैं। पुनर्गठन के बाद हम DNN मॉडल के आकार को महत्वपूर्ण रूप से कम कर सकते हैं जिससे सटीकता में नगण्य हानि होती है। जब DNN मॉडल के आकार को भारी रूप से कम करते हैं, तो हम नियमित बैक-प्रोपेगेशन विधि का उपयोग करके पुनर्गठित मॉडल को भी ठीक करते हैं ताकि सटीकता वापस मिल सके। प्रस्तावित विधि को दो LVCSR कार्यों पर परखा गया है, जिसमें संदर्भ-निर्भर DNN हिडन मार्कोव मॉडल (CD-DNN-HMM) शामिल है। प्रयोगात्मक परिणाम दिखाते हैं कि प्रस्तावित विधि DNN मॉडल के आकार को 80% से अधिक नाटकीय रूप से कम करती है बिना किसी सटीकता को खोए। इंडेक्स शब्द: गहन न्यूरल नेटवर्क, विशिष्ट मान यथार्थांक, मॉडल पुनर्गठन