आपसी जानकारी का अनुमान लगाना

हम आपसी जानकारी M(X,Y) के लिए बेहतर अनुमानकर्ताओं की दो श्रेणियाँ प्रस्तुत करते हैं, जो कुछ संयुक्त संभावना घनत्व mu(x,y) के अनुसार वितरित यादृच्छिक बिंदुओं के नमूनों से हैं। पारंपरिक बिन आधारित अनुमानकर्ताओं के विपरीत, ये k-नजदीकी पड़ोसी की दूरी से एंट्रोपी अनुमानों पर आधारित हैं। इसका अर्थ है कि ये डेटा में कुशल हैं (k=1 पर हम सबसे छोटे संभावित स्केल तक संरचनाओं को हल करते हैं), अनुकूली हैं (जहाँ डेटा अधिक होते हैं, वहाँ संकल्प अधिक होता है), और इनमें न्यूनतम पूर्वाग्रह होता है। वास्तव में, अंतर्निहित एंट्रोपी अनुमानों का पूर्वाग्रह मुख्यतः सबसे छोटे हल किए गए स्केल पर घनत्व की असमानता के कारण होता है, जो सामान्यतः प्रणालीगत त्रुटियों को उत्पन्न करता है जो k/N के रूप में कार्य करते हैं जहाँ N बिंदु हैं। संख्यात्मक रूप से, हम पाते हैं कि दोनों परिवार स्वतंत्र वितरणों के लिए सटीक हो जाते हैं, अर्थात् अनुमानकर्ता M(X,Y) समाप्त हो जाता है (संख्यात्मक उतार-चढ़ाव के सिवा) यदि mu(x,y)=mu(x)mu(y)। यह सभी परीक्षण किए गए द्वारा विभाजन और x और y के सभी आयामों के लिए लागू होता है। इसके अतिरिक्त, हम दो से अधिक यादृच्छिक चर के बीच की अतिरेकता के लिए अनुमानकर्ता देते हैं। हम अपने एल्गोरिदम की तुलना विस्तार से मौजूदा एल्गोरिदम से करते हैं। अंत में, हम स्वतंत्र घटक विश्लेषण (ICA) से प्राप्त घटकों की वास्तविक स्वतंत्रता का आकलन करने के लिए अपने अनुमानकर्ताओं की उपयोगिता, ICA में सुधार करने के लिए, और अंधे स्रोत पृथक्करण की विश्वसनीयता का अनुमान लगाने के लिए प्रदर्शित करते हैं।