تعلم التشابه بين الأنماط للتمييز بين الأشخاص في البيئات المتعددة دون إشراف

تُجمع أنماط التصوير RGB (المرئي) والأشعة تحت الحمراء القريبة (NI) والأشعة تحت الحمراء الحرارية (TI) عادةً للمراقبة على مدار الساعة. نقدم مهمة جديدة لتمييز الأشخاص في البيئات المتعددة دون إشراف (MM-ReID)، والتي، بناءً على صورة فرد في أي نمط واحد، تسعى إلى تحديد المطابقات في النمطين الآخرين. بالمقارنة مع صيغ مشكلات MM-ReID السابقة، يقلل MM-ReID غير المراقب بشكل كبير من تكلفة التوصيف وقيود التصوير. لمعالجة مهمة MM-ReID غير المراقب، نقترح إطار عمل جديد لتعلم التشابه بين الأنماط (IMSL) يتكون من أربعة وحدات متشابكة تتعاون فيما بينها: تجميع الوسيط المتوسط (MMC)، وتقدير موثوقية الأنماط المتعددة (MMRE)، وتعزيز متبادل قائم على الشكل (SMR)، والتعلم الثابت الواعي بالنمط (MIL). يتفاعل MMC مع SMR وMIL بطريقة تعود بالفائدة المتبادلة لتوفير تسميات زائفة قوية أمام فجوة النمط. يقوم MMRE بتطبيع أوزان العينات، مما يقلل من تأثير التسميات الضوضائية في إعداد الأنماط المتعددة. يؤكد SMR على معلومات الشكل لتعزيز قوة النموذج ضمنياً تجاه فجوة النمط، ويتلقى مزيداً من الإرشادات من التسميات الزائفة المقدمة من MMC للتركيز على التفاصيل المتعلقة بالهوية. يشجع MIL بشكل صريح على تعلم ميزات غير متعلقة بالنمط والمتعلقة بالهوية من خلال التغذية الراجعة المتعارضة لوحدة MMC. تظهر نتائج تجريبية واسعة النطاق على مجموعات بيانات الأنماط المتعددة والمتقاطعة أن IMSL يوفر تحسينات كبيرة في الأداء مقارنة بالطرق الحالية. الشيفرة متاحة على https://github.com/zqpang/IMSL.