Key points are not available for this paper at this time.
التعلم ضمن السياق (ICL) هو نوع من التنشيط حيث يعمل نموذج المحول على تسلسل من أمثلة (الإدخال، الإخراج) ويقوم بالاستدلال في الوقت الفعلي. في هذا العمل، نُجسد التعلم ضمن السياق كمشكلة تعلم الخوارزميات حيث يقوم نموذج المحول ببناء ضمني لدالة الفرضية أثناء وقت الاستدلال. نبدأ باستكشاف الجوانب الإحصائية لهذا التجريد من خلال منظور التعلم متعدد المهام: نحصل على حدود التعميم لـ ICL عندما يكون الموجه الإدخالي (1) تسلسلاً من أزواج (الإدخال، التسمية) المستقلة والمتطابقة التوزيع، أو (2) مسارًا ناشئًا من نظام ديناميكي. جوهر تحليلنا هو ربط المخاطر الزائدة بثبات الخوارزمية التي ينفذها المحول. نصف الحالات التي يلتزم فيها هيكل المحول/الانتباه بشرط الثبات بشكل مثبت ونقدم أيضًا تحققًا عمليًا. بالنسبة للتعميم على مهام غير مرئية، نحدد ظاهرة انحياز استقرائي حيث تتحكم مخاطر التعلم الانتقالي في تعقيد المهمة وعدد مهام التعلم متعدد المهام بطريقة قابلة للتنبؤ بدرجة عالية. أخيرًا، نقدم تقييمات عددية تُظهر (1) أن المحولات يمكنها بالفعل تنفيذ خوارزميات شبه مثالية في مشكلات الانحدار الكلاسيكية مع بيانات i.i.d وديناميكية، (2) توفر رؤى حول الثبات، و(3) تتحقق من توقعاتنا النظرية.
لي وآخرون (ثلاثاء،) درسوا هذا السؤال.