कनेक्टिविटी मैट्रिक्स पूर्णता के लिए मैट्रिक्स फैक्टराइजेशन मॉडल में निहित नियमितता को आकार देती है

मैट्रिक्स फैक्टराइजेशन मॉडल को ओवरपैरामीट्राइज्ड मॉडलों के निहित पूर्वाग्रहों को समझने के लिए एक मूल्यवान परीक्षण स्थल के रूप में व्यापक रूप से अध्ययन किया गया है। हालाँकि इन मॉडलों के लिए कम न्यूक्लियर नॉर्म और कम रैंक नियमितीकरण पर अध्ययन किया गया है, लेकिन जब, कैसे और क्यों वे अलग-अलग निहित नियमितीकरण प्रभाव प्राप्त करते हैं, इसका एक एकीकृत समझ अभी भी elusive है। इस कार्य में, हम मैट्रिक्स पूर्णता की समस्याओं को हल करने के लिए मैट्रिक्स फैक्टराइजेशन के निहित नियमितीकरण का व्यवस्थित रूप से अध्ययन करते हैं। हम अनुभवात्मक रूप से पाते हैं कि अवलोकित डेटा की कनेक्टिविटी निहित पूर्वाग्रह में एक महत्वपूर्ण भूमिका निभाती है, जिसमें डेटा disconnected से connected में बदलाव के साथ कम न्यूक्लियर नॉर्म से कम रैंक की ओर संक्रमण होता है। हम हानि परिदृश्य में अंतर्निहित अपरिवर्तनीय मैनिफोल्ड्स की एक श्रेणी की पहचान करते हैं जो प्रशिक्षण पथ को कम रैंक से उच्च रैंक समाधानों में विकसित करने के लिए निर्देशित करते हैं। इस खोज के आधार पर, हम सैद्धांतिक रूप से प्रशिक्षण पथ को अनुक्रमिक अपरिवर्तनीय मैनिफोल्ड traversal प्रक्रिया का पालन करते हुए वर्णित करते हैं, Li et al. (2020) के वर्णन को disconnected मामले को शामिल करते हुए सामान्यीकृत करते हैं। इसके अलावा, हम न्यूनतम न्यूक्लियर नॉर्म की गारंटी देने की शर्तें स्थापित करते हैं, जो हमारे प्रयोगात्मक النتائج के साथ निकटता से मेल खाती हैं, और न्यूनतम रैंक सुनिश्चित करने के लिए एक डायनेमिक्स विशेषता की शर्त प्रदान करते हैं। हमारा काम डेटा कनेक्टिविटी, प्रशिक्षण डायनेमिक्स और मैट्रिक्स फैक्टराइजेशन मॉडलों में निहित नियमितीकरण के बीच जटिल अंतःक्रिया को प्रकट करता है।