HyperVQ: हाइपरबोलिक स्पेस में MLR-आधारित वेक्टर क्वांटाइजेशन

टोकनाइज्ड डेटा पर काम करने वाले मॉडलों की सफलता के कारण प्रभावी टोकनाइजेशन विधियों की मांग बढ़ गई है, विशेष रूप से जब इन्हें विज़न या श्रवण कार्यों पर लागू किया जाता है, जो स्वाभाविक रूप से गैर-डिस्क्रीट डेटा शामिल करते हैं। सबसे लोकप्रिय टोकनाइजेशन विधियों में से एक है वेक्टर क्वांटाइजेशन (VQ), जो विभिन्न क्षेत्रों में कई हालिया अत्याधुनिक तरीकों का एक मुख्य घटक है। आमतौर पर, एक VQ वैरिएशनल ऑटोएन्कोडर (VQVAE) को डेटा को उसके टोकनाइज्ड प्रतिनिधित्व में और वापस बदलने के लिए प्रशिक्षित किया जाता है। हालांकि, चूंकि VQVAE को पुनर्निर्माण उद्देश्य के साथ प्रशिक्षित किया जाता है, इसलिए एम्बेडिंग्स के अच्छी तरह से disentangle होने पर कोई प्रतिबंध नहीं होता, जो इन्हें विवेचनात्मक कार्यों में उपयोग करने के लिए महत्वपूर्ण पहलू है। हाल ही में, कई कार्यों ने प्रतिनिधित्व शिक्षण के लिए हाइपरबोलिक स्पेस के उपयोग के लाभ दिखाए हैं। हाइपरबोलिक स्पेस अपने घातीय आयतन वृद्धि और अंतर्निहित क्षमता के कारण संक्षिप्त latent प्रतिनिधित्व उत्पन्न करते हैं जो क्रमिक और संरचित डेटा को मॉडल करने में सक्षम हैं। इस कार्य में, हम वेक्टर क्वांटाइजेशन (HyperVQ) के लिए हाइपरबोलिक स्पेस के उपयोग की खोज करते हैं, VQ ऑपरेशन को हाइपरबोलिक मल्टिनॉमियल लॉजिस्टिक रिग्रेशन (MLR) समस्या के रूप में प्रस्तुत करते हैं, इसके विपरीत Euclidean K-Means क्लस्टरिंग जिसका उपयोग VQVAE में किया जाता है। व्यापक प्रयोगों के माध्यम से, हम दिखाते हैं कि hyperVQ पुनर्निर्माण और जनरेटिव कार्यों में तुलनात्मक प्रदर्शन करता है जबकि विवेचनात्मक कार्यों में VQ से बेहतर प्रदर्शन करता है और एक अत्यधिक disentangled latent स्पेस सीखता है।