Key points are not available for this paper at this time.
القدرة على تعلم مهمة جديدة بسرعة مع الحد الأدنى من التعليمات - المعروف بالتعلم القليل - هي جانب مركزي من جوانب الوكلاء الأذكياء. تستخدم المعايير التقليدية للتعلم القليل عينات قليلة من وسيلة واحدة، ولكن مثل هذه العينات قد لا تكون كافية لوصف فئة مفهوم كاملة. بالمقابل، يستخدم البشر المعلومات عبر الوسائط لتعلم مفاهيم جديدة بكفاءة. في هذا العمل، نظهر أنه يمكن بناء مصنف أفضل للكلاب البصرية من خلال قراءة عن الكلاب والاستماع إلى نباحها. للقيام بذلك، نستغل حقيقة أن النماذج الأساسية متعددة الوسائط الحديثة مثل CLIP هي بطبيعتها متعددة الوسائط، حيث تقوم بربط وسائل مختلفة بنفس مساحة التمثيل. على وجه التحديد، نقترح نهج بسيط للتكيف عبر الوسائط يتعلم من أمثلة قليلة تمتد عبر وسائل مختلفة. من خلال إعادة استخدام أسماء الفئات كعينات تدريب إضافية لمرة واحدة، نحقق نتائج من الطراز الأول باستخدام مصنف خطي بسيط محرج للتكيف بين الرؤية واللغة. علاوة على ذلك، نوضح أن نهجنا يمكن أن يفيد الأساليب الحالية مثل ضبط البادئات، والمهايئات، وتجميع المصنفات. أخيرًا، لاستكشاف وسائل أخرى بخلاف الرؤية واللغة، أنشأنا أول معيار سمعي بصري للتعلم القليل (حسب علمنا) واستخدمنا التدريب عبر الوسائط لتحسين أداء تصنيف الصورة والصوت.
دراسة لين وآخرون (الخميس،) هذا السؤال.