Key points are not available for this paper at this time.
تتناول الطرق التقليدية لمهام توليد الصورة والنص بشكل رئيسي مهام التوليد ثنائية الاتجاه بشكل منفصل، مع التركيز على تصميم إطار عمل خاص بالمهام لتحسين جودة وصدقية العينات المولدة. مؤخرًا، حققت نماذج التدريب المسبق للغة والرؤية تحسينات كبيرة في أداء مهام توليد الصورة إلى نص، ولكن نماذج التدريب المسبق على نطاق واسع لمهمة توليد النص إلى صورة لا تزال في مراحل تطويرها. في هذا البحث، نقترح ERNIE-ViLG، وهو إطار عمل موحد للتدريب المسبق التوليدي لتوليد الصورة والنص ثنائي الاتجاه باستخدام نموذج المحول. بناءً على نماذج التكميم للصورة، نقوم بصياغة كل من توليد الصورة وتوليد النص كمهام توليد ذاتية الارتباط مشروطة على إدخال النص/الصورة. يسهل النمذجة التوليدية للصورة والنص ثنائية الاتجاه المحاذاة الدلالية عبر الرؤية واللغة. لعملية توليد النص إلى صورة، نقترح أيضًا طريقة تدريب شاملة لتعلم مولد التسلسل البصري وموسّع الصورة بشكل مشترك. لاستكشاف مشهد التدريب المسبق على نطاق واسع لتوليد النص إلى صورة، نقوم بتدريب نموذج ERNIE-ViLG المكون من 10 مليار معلمة على مجموعة بيانات كبيرة تتكون من 145 مليون زوج (صيني) من الصورة والنص، والتي تحقق أداءً رائدًا في كل من مهام توليد النص إلى صورة والصورة إلى نص، حيث حصلت على FID قدره 7.9 على MS-COCO لتوليد النص إلى صورة وأفضل النتائج على COCO-CN وAIC-ICC لتسمية الصورة.
درس Zhang وآخرون (Fri،) هذا السؤال.