फ्लेक्स-TPU: एक लचीला TPU जिसमें समय रनटाइम में पुनर्निर्माण योग्य डेटा प्रवाह आर्किटेक्चर है

टेंसर प्रोसेसिंग यूनिट (TPUs) बड़े पैमाने पर डेटा सेंटरों में और छोटे ML अनुप्रयोगों में उपयोग किए जाने वाले सबसे प्रसिद्ध मशीन लर्निंग (ML) त्वरणों में से एक हैं। TPUs पारंपरिक ML त्वरणों, जैसे ग्राफिकल प्रोसेसिंग यूनिट (GPUs) की तुलना में कई सुधार और लाभ प्रदान करते हैं, जिन्हें विशेष रूप से गहन न्यूरल नेटवर्क (DNNs) के कार्यान्वयन के दौरान आवश्यक गुणा-जोड़ (MAC) संचालन करने के लिए डिज़ाइन किया गया है। ऐसे सुधारों में डेटा पुनः उपयोग को अधिकतम करना और डेटा स्थानांतरण को न्यूनतम करना शामिल है, जो सिस्टोलिक एरे आर्किटेक्चर द्वारा प्रदान किए गए अस्थायी डेटा प्रवाह प्रारूपों का लाभ उठाता है। जबकि यह डिज़ाइन महत्वपूर्ण प्रदर्शन लाभ प्रदान करता है, वर्तमान कार्यान्वयन एकल डेटा प्रवाह तक सीमित हैं जिसमें या तो इनपुट, आउटपुट, या वेट स्थिर आर्किटेक्चर हैं। यह DNN अनुमान के उपलब्ध प्रदर्शन को सीमित कर सकता है और कंप्यूट यूनिट्स के उपयोग को कम कर सकता है। इसलिए, यहाँ का कार्य एक पुनर्निर्माण योग्य डेटा प्रवाह TPU, जिसे फ्लेक्स-TPU कहा जाता है, विकसित करना है, जो रनटाइम के दौरान प्रति परत डेटा प्रवाह को गतिशील रूप से बदल सकता है। हमारे प्रयोग फ्लेक्स-TPU की व्यावहारिकता का व्यापक परीक्षण करते हैं, इसे कई प्रसिद्ध ML कार्यभारों के मुकाबले पारंपरिक TPU डिज़ाइन के साथ तुलना करते हैं। परिणाम दिखाते हैं कि हमारा फ्लेक्स-TPU डिज़ाइन पारंपरिक TPU की तुलना में 2.75x तक महत्वपूर्ण प्रदर्शन वृद्धि प्राप्त करता है, केवल मामूली क्षेत्र और शक्ति ओवरहेड के साथ।