स्पार्क SQL

स्पार्क SQL एक नया मॉड्यूल है जो एचपीच एस्पार्क में संबंधी प्रोसेसिंग को स्पार्क के कार्यात्मक प्रोग्रामिंग API के साथ एकीकृत करता है। शार्क के साथ हमारे अनुभव पर निर्मित, स्पार्क SQL स्पार्क प्रोग्रामर्स को संबंधी प्रोसेसिंग के लाभों का लाभ लेने की अनुमति देता है (जैसे, घोषणाात्मक प्रश्न और अनुकूलित भंडारण), और SQL उपयोगकर्ताओं को स्पार्क में जटिल विश्लेषणात्मक लाइब्रेरी (जैसे, मशीन लर्निंग) कॉल करने की अनुमति देता है। पहले के सिस्टम की तुलना में, स्पार्क SQL दो मुख्य जोड़ प्रदान करता है। पहला, यह संबंधी और प्रक्रियात्मक प्रोसेसिंग के बीच बहुत अधिक निकटता से एकीकरण प्रदान करता है, एक उद्घोषणात्मक डेटा फ़्रेम API के माध्यम से जो प्रक्रियात्मक स्पार्क कोड के साथ एकीकृत होता है। दूसरा, इसमें एक अत्यधिक विस्तार योग्य ऑप्टिमाइज़र, कैटालिस्ट, शामिल है, जो स्काला प्रोग्रामिंग भाषा की सुविधाओं का उपयोग करके बनाया गया है, जो संयोज्य नियम जोड़ना, कोड जनरेशन को नियंत्रित करना, और विस्तार बिंदुओं को परिभाषित करना आसान बनाता है। कैटालिस्ट का उपयोग करके, हमने आधुनिक डेटा विश्लेषण की जटिल आवश्यकताओं के लिए अनुकूलित विभिन्न सुविधाएँ (जैसे, JSON के लिए स्कीमा अनुमान, मशीन लर्निंग प्रकार, और बाह्य डेटाबेसों के लिए क्वेरी फेडरेशन) बनाई हैं। हम स्पार्क SQL को SQL-ऑन-स्पार्क और स्पार्क दोनों का विकास मानते हैं, यह समृद्ध API और अनुकूलन प्रदान करता है जबकि स्पार्क प्रोग्रामिंग मॉडल के लाभों को बनाए रखता है।