CM-GANs

من المعروف أن التوزيعات غير المتسقة والتمثيلات للعديد من الأنماط، مثل الصورة والنص، تسبب فجوة التباين، مما يجعل من التحدي الكبير الربط بين البيانات غير المتجانسة وقياس أوجه التشابه بينها. مؤخرًا، تم اقتراح الشبكات التنافسية التوليدية (GANs) وأظهرت قدرتها القوية على نمذجة توزيع البيانات وتعلم التمثيل التمييزي. كما أُظهر أن التعلم التنافسي يمكن استغلاله بالكامل لتعلم التمثيلات المشتركة التمييزية لسد فجوة التباين. مستلهمين من ذلك، نهدف إلى ربط بيانات غير متجانسة كبيرة النطاق من أنماط مختلفة بفاعلية بفضل قوة GANs في نمذجة توزيع مشترك عبر الأنماط. في هذه المقالة، نقترح الشبكات التنافسية التوليدية عبر الأنماط (CM-GANs) مع المساهمات التالية. أولاً، نقترح هيكلية GAN عبر الأنماط لنمذجة التوزيع المشترك على بيانات الأنماط المختلفة. يمكن استكشاف الترابط بين الأنماط والترابط داخل النمط في النماذج التوليدية والتمييزية بشكل متزامن. تتنافس كلاهما لتعزيز تعلم الارتباط عبر الأنماط. ثانياً، نقترح مشفرات تلقائية تلافيفية عبر الأنماط مع قيد مشاركة الوزن لتشكيل النموذج التوليدي. إنها لا تستغل فقط الترابط عبر الأنماط لتعلم التمثيلات المشتركة بل تحتفظ أيضًا بمعلومات إعادة البناء لالتقاط التناسق الدلالي داخل كل نمط. ثالثاً، يتم اقتراح آلية تدريب تنافسية عبر الأنماط، والتي تستخدم نوعين من النماذج التمييزية لإجراء التمييز داخل النمط وعبر الأنماط في آن واحد. يمكن أن تعزز كل منهما الآخر لجعل التمثيلات المشتركة الناتجة أكثر تمييزًا من خلال عملية التدريب التنافسي. في الختام، يمكن لطريقتنا المقترحة CM-GAN استخدام GANs لأداء تعلم التمثيل المشترك عبر الأنماط بحيث يمكن ربط البيانات غير المتجانسة بفاعلية. تم إجراء تجارب واسعة للتحقق من أداء CM-GANs في الاسترجاع عبر الأنماط بالمقارنة مع 13 طريقة متطورة على 4 مجموعات بيانات عبر الأنماط.