क्लाउड वातावरण में विषम संसाधनों के साथ बड़े पैमाने पर ग्राफ प्रोसेसिंग के लिए एक लागत-प्रभावी ऑटो-स्केलिंग एल्गोरिदम

ग्राफ प्रोसेसिंग मॉडल को ऑनलाइन गेमिंग, सोशल मीडिया, वैज्ञानिक कंप्यूटिंग और इंटरनेट ऑफ थिंग्स (IoT) जैसे विभिन्न क्षेत्रों में व्यापक रूप से अपनाया जा रहा है। चूंकि सामान्य उद्देश्य के डेटा प्रोसेसिंग टूल जैसे मैपरीड्यूस इटरटिव ग्राफ प्रोसेसिंग के लिए अप्रभावी साबित होते हैं, हाल के वर्षों में बड़े पैमाने पर ग्राफ के विश्लेषण और गणना को सक्षम करने के लिए कई ढांचे विकसित किए गए हैं। हालाँकि, ऐसे ढांचे के वितरण या एकल मशीन आधारित आर्किटेक्चर की परवाह किए बिना, गतिशील स्केलेबिलिटी हमेशा एक बड़ा मुद्दा है। जब स्केलेबिलिटी और मौद्रिक लागत के बीच संबंध होता है - जैसे कि सार्वजनिक क्लाउड प्रदान करते हैं, तब यह और भी महत्वपूर्ण हो जाता है। सार्वजनिक क्लाउड प्रदाताओं द्वारा उपयोग किया जाने वाला पे-एज़-यू-गो मॉडल उपयोगकर्ताओं को केवल उन संसाधनों की संख्या के लिए भुगतान करने की अनुमति देता है जो वे उपयोग करते हैं। हालांकि, ऐसे वातावरण में बड़े पैमाने पर ग्राफ को प्रोसेस करना कम अध्ययन किया गया है और अधिकांश ढांचे सामग्रियों क्लस्टर के लिए कार्यान्वित होते हैं जहाँ उन्हें उन संसाधनों के लिए शुल्क नहीं लिया जाएगा जो वे उपयोग करते हैं। इस पेपर में, हमने क्लाउड वातावरण में संसाधन विषमता के लाभ के लिए एल्गोरिदम विकसित किए हैं। इन एल्गोरिदम का उपयोग करके, प्रणाली स्वचालित रूप से संकलन आवश्यकताओं के अनुसार वर्चुअल मशीनों की संख्या और प्रकार को समायोजित कर सकती है ताकि सहसंवेदनशील ग्राफ अनुप्रयोगों के लिए प्रदर्शन में सुधार करने और पूरे संचालन की मौद्रिक लागत को कम किया जा सके। इसके अलावा, एक स्मार्ट प्रोफाइलिंग तंत्र के साथ एक नए गतिशील पुनर्विभाजन दृष्टिकोण ने ग्राफ विभाजन वितरित करने में तेजी से मदद की है। यह दिखाया गया है कि यह विधि लोकप्रिय ढांचों जैसे कि गिराफ़ को बेहतर प्रदर्शन देती है और गिराफ़ की तुलना में डॉलर लागत में 50 प्रतिशत से अधिक की कमी लाती है।