MapReduce प्रणालियों में प्रसंस्करण और शफल चरणों की संयुक्त अनुसूची

MapReduce बड़े डेटा केंद्रों में डेटा को संसाधित करने के लिए एक महत्वपूर्ण पैरेडाइम के रूप में उभरा है। MapReduce एक तीन चरणों का एल्गोरिदम है जिसमें मैप, शफल और रिड्यूस चरण शामिल हैं। इसके व्यापक कार्यान्वयन के कारण, हाल के कुछ पेपरों ने MapReduce प्रणालियों के प्रदर्शन को सुधारने के लिए व्यावहारिक योजनाओं का outline प्रस्तुत किया है। इन सभी प्रयासों का ध्यान तीन में से एक चरण पर प्रदर्शन सुधार प्राप्त करने पर केंद्रित है। इस पेपर में, हम MapReduce प्रक्रिया के सभी तीन चरणों की संयुक्त अनुसूची की समस्या पर विचार करते हैं ताकि संयुक्त अनुसूची की सैद्धांतिक जटिलता को समझने और कार्यों की अनुसूची के लिए व्यावहारिक ह्युरिस्टिक्स की ओर काम करने का प्रयास किया जा सके। हम निश्चित निकटता एल्गोरिदम प्रदान करते हैं और संयुक्त अनुसूची समस्या को हल करने के लिए कई ह्युरिस्टिक्स का outline प्रस्तुत करते हैं।