संदर्भ में सीखने की क्षमता की बेहतर समझ की ओर संदर्भ में अनिश्चितता मात्रा निर्धारण से

सरल कार्य श्रेणियों की भविष्यवाणी का उपयोग प्रशिक्षित ट्रांसफार्मर की संदर्भ में सीखने (ICL) की क्षमता के सिद्धांत और समझ विकसित करने के लिए एक परीक्षण के रूप में किया गया है। इस पेपर में, हम रैखिक पुनरागमन कार्यों पर ट्रांसफार्मर के प्रशिक्षण की पुनरावृत्ति करते हैं, और सभीexisting साहित्य से अलग, हम दोनों सशर्त अपेक्षा EY|X और सशर्त विषम Var (Y|X) की भविष्यवाणी करने के लिए एक द्वि-लक्ष्य भविष्यवाणी कार्य पर विचार करते हैं। यह अतिरिक्त अनिश्चितता मात्रा निर्धारण उद्देश्य (i) ICL को इन-वेट सीखने (IWL) से अलग करने के लिए आउट-ऑफ-डिस्ट्रिब्यूशन प्रयोगों को बेहतर तरीके से डिजाइन करने के लिए एक साधन प्रदान करता है और (ii) प्रशिक्षण वितरण की पूर्व जानकारी का उपयोग करने वाले और न करने वाले एल्गोरिदम के बीच बेहतर विभाजन बनाने के लिए। सैद्धांतिक रूप से, हम दर्शाते हैं कि प्रशिक्षित ट्रांसफार्मर लगभग बेयस-अप्टिमम पर पहुंचता है, जो प्रशिक्षण वितरण की जानकारी का उपयोग करने का सुझाव देता है। हमारी विधि अन्य मामलों में विस्तृत की जा सकती है। विशेष रूप से, ट्रांसफार्मर की संदर्भ विंडो S के साथ, हम n कार्यों पर लंबाई T के अनुक्रमों पर O (\S, T\/ (n T)) का सामान्यीकरण सीमा साबित करते हैं, जो पिछले परिणामों के मुकाबले तेज़ विश्लेषण प्रदान करता है O (1/n)। अनुभवजनक रूप से, हम दर्शाते हैं कि जबकि प्रशिक्षित ट्रांसफार्मर वितरण में पर्यवेक्षित प्रशिक्षण के स्वाभाविक परिणाम के रूप में बेयस-ऑप्टिमल समाधान की तरह कार्य करता है, यह कार्य संबंधी परिवर्तनों का सामना करते समय अनिवार्य रूप से एक बेयसियन अनुमान नहीं करता है, जो कि कई वर्तमान साहित्य में प्रस्तावित इन दोनों के बीच समानता के विपरीत है। हम यह भी प्रदर्शित करते हैं कि प्रशिक्षित ट्रांसफार्मर की ICL क्षमता सह-परिवर्तकों के बदलाव और प्रॉम्प्ट-लंबाई बदलाव पर है और इनकी व्याख्या एक मेटा वितरण पर सामान्यीकरण के रूप में करते हैं।