نقل المعرفة عبر المجالات لتعرف لغة الإشارة بالفيديو

يعتبر تعرف لغة الإشارة على مستوى الكلمات (WSLR) مهمة أساسية في تفسير لغة الإشارة. يتطلب ذلك نماذج للتعرف على كلمات الإشارة المنفصلة من مقاطع الفيديو. ومع ذلك، فإن وضع علامة على بيانات WSLR يحتاج إلى معرفة خبراء، مما يؤدي إلى تقييد اكتساب مجموعات بيانات WSLR. على العكس من ذلك، هناك وفرة من مقاطع الفيديو الإخبارية المترجمة بلغة الإشارة على الإنترنت. نظرًا لأن هذه الفيديوهات لا تحتوي على علامات على مستوى الكلمات وتظهر فجوة كبيرة بين المجالات مقارنةً بالإشارات المنفصلة، لا يمكن استخدامها مباشرة لتدريب نماذج WSLR. نلاحظ أنه على الرغم من وجود فجوة كبيرة بين المجالات، فإن الإشارات المنفصلة وإشارات الأخبار تشترك في نفس المفاهيم البصرية، مثل إيماءات اليد وحركات الجسم. بناءً على هذه الملاحظة، نقترح طريقة جديدة تتعلم المفاهيم البصرية المستقلة عن المجال وتغذي نماذج WSLR من خلال نقل معرفة إشارات الأخبار المترجمة إليها. لتحقيق ذلك، نستخرج إشارات الأخبار باستخدام نموذج WSLR أساسي، ثم نصمم مصنفًا مدربًا بشكل مشترك على إشارات الأخبار والإشارات المنفصلة لضبط ميزات هذين المجالين بشكل تقريبي. من أجل تعلم ميزات مستقلة عن المجال داخل كل فئة وكبح الميزات المحددة للمجال، تستند طريقتنا أيضًا إلى ذاكرة خارجية لتخزين مراكز الفئات لإشارات الأخبار المتراصة. ثم نصمم انتباهًا زمنيًا قائمًا على الوصف المستخلص لتحسين أداء التعرف. تظهر النتائج التجريبية على مجموعات بيانات WSLR القياسية أن طريقتنا تتفوق بشكل كبير على الطرق السابقة المتطورة. نحن أيضًا نثبت فعالية طريقتنا في تحديد مواقع الإشارات تلقائيًا من أخبار الإشارة، حيث حققنا 28.1 لــ AP@0.5.