व्यावहारिक फ़्यू-शॉट फ़ेडरेटेड NLP की ओर

ट्रांसफार्मर आधारित प्री-ट्रेंड मॉडल प्राकृतिक भाषा प्रसंस्करण (NLP) के लिए प्रमुख समाधान के रूप में उभरे हैं। इस तरह के प्री-ट्रेंड मॉडल को डाउनस्ट्रीम कार्यों के लिए फाइन-ट्यूनिंग करने में अक्सर बहुत सारा लेबल किया हुआ निजी डेटा आवश्यक होता है। व्यावहारिक रूप से, निजी डेटा अक्सर हेटेरोजेनियस मोबाइल उपकरणों के बीच वितरित किया जाता है और इसे अपनाने से मना किया जा सकता है। इसके अलावा, अच्छी तरह से कुर्सर किया गया लेबल किया हुआ डेटा अक्सर कम होता है, जो एक और चुनौती प्रस्तुत करता है। इन चैलेंजेज का समाधान करने के लिए, हम पहले फ़ेडरेटेड फ़्यू-शॉट लर्निंग कार्यों के लिए एक डेटा जेनरेटर पेश करते हैं, जिसमें वास्तविक सेटिंग में कम उपयोग किए जाने वाले लेबल डेटा की मात्रा और स्क्यूनेस शामिल है। इसके बाद, हम AUG-FedPrompt का प्रस्ताव करते हैं, जो डेटा संवर्धन के लिए प्रचुर मात्रा में बिना लेबल के डेटा का उपयोग करने वाला एक प्रॉम्प्ट-आधारित फ़ेडरेटेड लर्निंग सिस्टम है। हमारे प्रयोग यह दर्शाते हैं कि AUG-FedPrompt सीमित मात्रा में लेबल डेटा के साथ पूर्ण सेट फाइन-ट्यूनिंग के बराबर प्रदर्शन कर सकता है। हालाँकि, ऐसी प्रतिस्पर्धात्मक प्रदर्शन महत्वपूर्ण प्रणाली की लागत पर आती है।