एक "हिचहाइकर" गाइड जल्दी और प्रभावी डेटा पुनर्निर्माण के लिए एरेज़र-कोडेड डेटा केंद्रों में

रीड-एसोलोमन (RS) जैसे एरेज़र कोड डेटा केंद्रों में व्यापक रूप से तैनात किए जा रहे हैं क्योंकि वे डेटा पुनरावृत्ति विधियों की तुलना में काफी अधिक विश्वसनीयता प्रदान करते हैं और बहुत कम स्टोरेज ओवरहेड के साथ। हालाँकि, ये कोड डेटा के पुनर्निर्माण के दौरान नेटवर्क बैंडविड्थ और डिस्क IO के मामले में बहुत अधिक संसाधनों की मांग करते हैं, जो गायब है या अन्यथा उपलब्ध नहीं है। इस समस्या के लिए मौजूदा समाधान या तो अतिरिक्त स्टोरेज स्पेस की मांग करते हैं या सिस्टम के पैरामीटर के चयन को गंभीर रूप से सीमित करते हैं। इस पेपर में, हम "हिचहाइकर" प्रस्तुत करते हैं, एक नया एरेज़र-कोडेड स्टोरेज सिस्टम जो गायब या अन्यथा उपलब्ध नहीं होने वाले डेटा के पुनर्निर्माण के दौरान लगभग 25% से 45% तक नेटवर्क ट्रैफिक और डिस्क IO को कम करता है, बिना अतिरिक्त स्टोरेज के, वही दोष सहिष्णुता और पैरामीटर के चयन में मनमाने लचीलापन के साथ, RS-आधारित सिस्टम की तुलना में। हिचहाइकर RS कोड पर "सवारी" करता है, और यह नए एनकोडिंग और डिकोडिंग तकनीकों पर आधारित है, जिन्हें इस पेपर में प्रस्तुत किया जाएगा। हमने हिचहाइकर को हडूप डिस्ट्रिब्यूटेड फाइल सिस्टम (HDFS) में लागू किया है। फेसबुक में वास्तविक समय के ट्रैफ़िक और कार्यभार के साथ उत्पादन में डेटा-वेयरहाउस क्लस्टर पर विभिन्न मैट्रिक्स का मूल्यांकन करते समय, पुनर्निर्माण के दौरान, हम गणना के समय में 36% की कमी और डेटा पढ़ने के समय में 32% की कमी देखते हैं, नेटवर्क ट्रैफिक और डिस्क IO में 35% की कमी के अतिरिक्त। इस प्रकार हिचहाइकर घटित रीड्स की विलंबता को कम कर सकता है और विफल या डी-कमीशन किए गए मशीनों से तेजी से पुनर्प्राप्ति प्रदान कर सकता है।