मिराज: बैच जीपीयू क्लस्टरों पर कम-व्य interromption सर्विसेज की ओर सुदृढीकरण शिक्षण के साथ

दीर्घकालिक गहन शिक्षण (डीएल) प्रशिक्षण और अनुमान कार्यों का जीपीयू क्लस्टरों पर समायोजन चुनौतीपूर्ण है जो पारंपरिक बैच शेड्यूलर्स जैसे कि स्लर्म का उपयोग करते हैं। निश्चित दीवार घड़ी समय सीमाओं के तहत, डीएल शोधकर्ता आमतौर पर बैच कार्यों की एक श्रृंखला चलाने की आवश्यकता होती है और ओवरलोडेड मशीनों पर लंबे समय तक रुकावट का सामना करते हैं। ऐसे रुकावटें अनुसंधान उत्पादकता और उत्पादन में तैनात सेवाओं के लिए QoS को महत्वपूर्ण रूप से कम कर देती हैं। रुकावट से जुड़ी समस्याओं को कम करने के लिए, हम एक सक्रिय प्रावधानकर्ता के डिज़ाइन का प्रस्ताव करते हैं और सांख्यिकीय शिक्षण और सुदृढीकरण शिक्षण (RL) तकनीकों का एक सेट जांचते हैं, जिसमें रैंडम फ़ॉरेस्ट, xgboost, गहरे Q-नेटवर्क, और नीति ग्रेडियन्ट शामिल हैं। तीन जीपीयू क्लस्टरों से उत्पादन कार्य के ट्रेस का उपयोग कर, हम प्रत्येक मॉडल को ट्रेस के उपसमुच्चय का उपयोग करके प्रशिक्षित करते हैं और फिर शेष मान्यता उपसमुच्चय का उपयोग करके उनकी सामान्यता का मूल्यांकन करते हैं। हम मिराज पेश करते हैं, एक स्लर्म-संगत संसाधन प्रावधानकर्ता जो उम्मीदवार एमएल विधियों को एकीकृत करता है। हमारे प्रयोगों से पता चलता है कि मिराज 17--100% तक रुकावट को कम कर सकता है और लगातार तीन क्लस्टरों पर विभिन्न लोड स्तरों के बीच 23%-76% कार्यों को बिना किसी रुकावट के सुरक्षित रख सकता है।