التكيف العميق لمجالات الوصف للأشخاص بناءً على خصائص الملابس الدقيقة

نحن نتناول مشكلة وصف الأشخاص بناءً على خصائص الملابس الدقيقة. هذه مشكلة مهمة للعديد من التطبيقات العملية، مثل التعرف على المشتبه بهم المستهدفين أو العثور على الأشخاص المفقودين بناءً على أوصاف الملابس التفصيلية في مقاطع الفيديو المراقبة أو الصور الاستهلاكية. نتناول هذه المشكلة عن طريق التعدين أولاً لصور الملابس مع تسميات الخصائص الدقيقة من المتاجر الإلكترونية. تم إنشاء مجموعة بيانات على نطاق واسع تحتوي على حوالي مليون صورة وفئات فرعية مفصلة من الخصائص، مثل ظلال الألوان المختلفة (مثل الأحمر بطيخي، الأحمر الوردي، الأحمر المائل إلى البنفسجي)، وأنواع الملابس (مثل جاكيت دافئ، جاكيت دينيم)، والأنماط (مثل الخطوط الأفقية الرفيعة، ونقشة الديباج). نظرًا لأن هذه الصور مأخوذة في ظروف مثالية من حيث الوضع والإضاءة والخلفية، فإنه من غير الموثوق به استخدامها مباشرة كبيانات تدريب للتنبؤ بالخصائص في مجال الصور غير المقيدة الملتقطة، على سبيل المثال، بواسطة الهواتف المحمولة أو كاميرات المراقبة. من أجل سد هذه الفجوة، نقترح شبكة جديدة تكيف العميقة ذات مسارين لنموذج البيانات من المجالين معًا. تضمن عدة طبقات لتكلفة التوافق الموضوعة بين العمودين ثبات ميزات المجالين وقابلية التنبؤ بفئات الخصائص غير المعروفة في أحد المجالين. أخيرًا، لتحقيق نظام يعمل مع محاذاة تلقائية لجسم الإنسان، قمنا بتدريب كاشف معزز يعتمد على RCNN لتحديد مواقع أجسام الإنسان في الصور. توضح تقييماتنا التجريبية الواسعة فعالية المقاربة المقترحة لوصف الأشخاص بناءً على خصائص الملابس الدقيقة.