संबंधित विश्लेषण में नमूना आकार

संक्षेप में जबकि बिब्लियोमेट्रिक विश्लेषण सामान्यतः पूर्ण प्रकाशन सेट पर निर्भर कर सकता है, यह सार्वभौम रूप से लागू नहीं होता। उदाहरण के लिए, ऑस्ट्रेलिया (ERA में) और यूके (RAE/REF में) संस्थागत अनुसंधान आकलन का उपयोग करते हैं, जो शोधकर्ता उत्पादन के छोटे या आंशिक हिस्सों पर निर्भर कर सकते हैं। 2014-2018 के लिए वेब ऑफ साइंस में अनुक्रमित दस विश्वविद्यालयों के प्रकाशनों के लिए श्रेणी सामान्यीकृत उद्धरण प्रभाव (CNCI) का उपयोग करते हुए, हम यह जांचते हैं कि संस्थागत डेटा का 'नमूना' जनसंख्या CNCIs के औसत और/या सही सापेक्ष स्थिति को कितनी सटीकता से दर्शा सकता है। पूर्ण संस्थागत डेटा से शुरू करते हुए, हम 200 पत्रों से कम के 10,000 संस्थागत नमूनों में औसत CNCI में उच्च विविधता पाते हैं, जो हम सुझाव देते हैं कि विश्लेषणात्मक न्यूनतम हो सकता है, हालांकि छोटे नमूने गुणात्मक समीक्षा के लिए स्वीकार्य हो सकते हैं। जब शोधकर्ता सेटों में DAIS-ID क्लस्टरों द्वारा प्रदर्शित 'शीर्ष' CNCI पत्र पर विचार करते हैं, तो हम पाते हैं कि 1000 पत्रों के नमूने सापेक्ष (लेकिन पराकाष्ठा नहीं) संस्थागत उद्धरण प्रदर्शन के लिए एक अच्छा मार्गदर्शक प्रदान करते हैं, जो उच्च प्रदर्शन करने वाले व्यक्तियों की प्रचुरता द्वारा संचालित होता है। हालाँकि, छोटे या कम शोध-गहन इकाइयों में दुर्लभ 'उच्च उद्धृत' पत्रों द्वारा ऐसे नमूने बाधित हो सकते हैं। हम यह आकलन प्रक्रियाओं के लिए इस महत्व पर ध्यान केंद्रित करते हैं और आगे के सबूत की ओर इशारा करते हैं कि विश्वविद्यालय रैंकिंग मूलतः अस्थिर और सामान्यतः अविश्वसनीय होती हैं।