محاذاة دلالية متعددة الرؤى للتعرف على المنتجات في البث المباشر

التجارة الحية هي عملية بيع المنتجات عبر الإنترنت من خلال البث المباشر. تتطلب المطالب المتنوعة للعملاء للمنتجات عبر الإنترنت المزيد من التحديات في التعرف على المنتجات في البث المباشر. كانت الأعمال السابقة تركز بشكل أساسي على بيانات ملابس الموضة أو تستخدم مدخلات أحادية المودال، مما لا يعكس السيناريو الواقعي حيث تتواجد بيانات متعددة المودالات من فئات مختلفة. في هذه الورقة، نقدم LPR4M، مجموعة بيانات متعددة المودالات على نطاق واسع تغطي 34 فئة، وتشمل 3 مودالات (صورة، فيديو، ونص)، وهي أكبر 50 مرة من أكبر مجموعة بيانات متاحة للجمهور. تحتوي LPR4M على مقاطع فيديو متنوعة وأزواج من المودالات الضوضائية بينما تظهر توزيعاً طويلاً، مما يشبه المشاكل الواقعية. علاوة على ذلك، تم اقتراح نموذج المحاذاة الدلالية متعددة الرؤى (RICE) لتعلم ميزات الحالات المميزة من صور وفيديو المنتجات. يتم تحقيق ذلك من خلال التعلم المقارن على مستوى الحالة ونشر ميزات قطع المعلومات على مستوى الرؤية المتقاطعة. تم اقتراح خسارة إعادة بناء ميزة القطعة الجديدة لمعاقبة عدم المحاذاة الدلالية بين القطع المتقاطعة. تظهر التجارب الشاملة فعالية RICE وتوفر رؤى حول أهمية تنوع ومثالية مجموعة البيانات. مجموعة البيانات والرمز متاحان على https://github.com/adxcreative/RICE.