कौन से रिसाव प्रकार महत्वपूर्ण हैं?

28 अंदर-प्रतिभाग विरोधात्मक प्रयोग 2,047 सारणीबद्ध डेटासेट्स में, साथ ही 129 अस्थायी डेटासेट्स पर एक सीमा प्रयोग, मशीन लर्निंग में चार डेटा रिसाव श्रेणियों की गंभीरता को मापता है। श्रेणी I (अनुमान - पूर्ण डेटा पर स्केलर्स को फिट करना) नगण्य है: सभी नौ परिस्थितियाँ |ΔAUC| ≤ 0.005 उत्पन्न करती हैं। श्रेणी II (चयन - झलक, बीज चेरी-पिकिंग) महत्वपूर्ण है: ~90% मापी गई प्रभाव शोर शोषण है जो रिपोर्टेड स्कोर को बढ़ाती है। श्रेणी III (स्मृति) मॉडल की क्षमता के साथ बढ़ती है: dᵦ = 0.37 (नैव बेयेस) से 1.11 (निर्णय वृक्ष) तक। श्रेणी IV (सीमा) यादृच्छिक CV के अंतर्गत अदृश्य है। पाठ्यपुस्तक का जोर उल्टा है: सामान्यीकरण रिसाव कम महत्वपूर्ण है; व्यावहारिक डेटासेट आकारों में चयन रिसाव सबसे महत्वपूर्ण है.