वितरित डेटा प्रवाह के लिए हल्के असिंक्रोनस स्नैपशॉट

वितरित स्टेटफुल स्ट्रीम प्रोसेसिंग बादल में बड़े पैमाने पर निरंतर गणनाओं की तैनाती और निष्पादन को सक्षम बनाती है, जो निम्न विलंबता और उच्च थ्रूपुट दोनों को लक्षित करती है। इस पैराजानेम का एक सबसे मौलिक चुनौती संभावित विफलताओं के तहत प्रसंस्करण की गारंटी प्रदान करना है। मौजूदा दृष्टिकोण वैश्विक राज्य स्नैपशॉट्स पर निर्भर करते हैं, जिन्हें विफलता पुनर्प्राप्ति के लिए उपयोग किया जा सकता है। इन दृष्टिकोणों में दो मुख्य हानियाँ हैं। पहली, वे अक्सर समग्र गणना को रोकते हैं, जो सेवन को प्रभावित करता है। दूसरी, वे सभी रिकॉर्ड को यात्रा में परियोजना स्थितियों के साथ उत्सुकता से स्थायी बनाते हैं, जिससे आवश्यक से बड़े स्नैपशॉट होते हैं। इस काम में हम असिंक्रोनस बैरियर स्नैपशॉटिंग (ABS) का प्रस्ताव करते हैं, जो आधुनिक डेटा प्रवाह निष्पादन इंजनों के लिए उपयुक्त एक हल्का एल्गोरिदम है जो स्थान की आवश्यकताओं को कम करता है। ABS केवल एसीक्लिक निष्पादन टोपोलॉजी पर ऑपरेटर स्थितियों को स्थायी बनाता है जबकि चक्रीय डेटा प्रवाह पर न्यूनतम रिकॉर्ड लॉग रखता है। हमने ABS को ए apache Flink पर कार्यान्वित किया, जो एक वितरित एनालिटिक्स इंजन है जो स्टेटफुल स्ट्रीम प्रोसेसिंग का समर्थन करता है। हमारा मूल्यांकन दर्शाता है कि हमारा एल्गोरिदम निष्पादन पर भारी प्रभाव नहीं डालता, रैखिक स्केलेबिलिटी बनाए रखता है और बार-बार स्नैपशॉट्स के साथ अच्छा प्रदर्शन करता है।