نقل بيانات محسّن بالتعاون مع ثلاثيات اصطناعية لتوليد رسم بياني للمشهد

يركز هذا العمل على تعزيز مجموعة بيانات التدريب للثلاثيات العلائقية الإعلامية لتوليد رسم بياني للمشهد (SGG). بسبب نقص الإشراف الفعال، أداء نماذج SGG الحالية ضعيف للثلاثيات العلائقية الإعلامية التي تحتوي على عينات تدريب غير كافية. لذلك، نقترح وحدتين جديدتين لتعزيز مجموعة بيانات التدريب: زيادة ثلاثيات فضاء الميزة (FSTA) والنقل الناعم. تستفيد FSTA من مولد ميزات مدرّب لتوليد تمثيلات لكائن في ثلاثيات علائقية. يعتمد أخذ عينات معتمد على التنبؤ المنحاز في FSTA على زيادة فعالة للثلاثيات الاصطناعية مع التركيز على الصعبة منها. بالإضافة إلى ذلك، نقدم النقل الناعم الذي يخصّص تسميات ناعمة للفعل للثلاثيات العلائقية العامة لإعطاء إشرافات أكثر فاعلية لفئات الأفعال الإعلامية. تظهر النتائج التجريبية أن دمج FSTA والنقل الناعم يحقق مستويات عالية من كل من الاستدعاء والاستدعاء المتوسط في مجموعة بيانات Visual Genome. متوسط الاستدعاء والاستدعاء المتوسط هو الأعلى بين جميع الطرق القائمة على النموذج المتاحة.