التقييمات المفككة للفجوات الجغرافية في نماذج النص إلى الصورة

لقد حددت الأعمال الأخيرة فروقات كبيرة في الصور المولدة لمناطق جغرافية مختلفة، بما في ذلك التصوير النمطي للأشياء اليومية مثل المنازل والسيارات. ومع ذلك، فإن التدابير الحالية لهذه الفروقات كانت محدودة إما للتقييمات البشرية، التي تستغرق وقتًا طويلاً وتكلف الكثير، أو المقاييس التلقائية التي تقيم الصور الكاملة، والتي لا تستطيع نسب هذه الفروقات إلى أجزاء معينة من الصور المولدة. في هذا العمل، نقدم مجموعة جديدة من المقاييس، المؤشرات المفككة للفجوات في توليد الصور (Decomposed-DIG)، التي تتيح لنا قياس الفجوات الجغرافية في تصوير الأشياء والخلفيات في الصور المولدة بشكل منفصل. باستخدام Decomposed-DIG، نقوم بتدقيق نموذج انحلال كامن مستخدم على نطاق واسع ونجده أن الصور المولدة تصور الأشياء بواقعية أفضل من الخلفيات، وأن الخلفيات في الصور المولدة تميل إلى احتواء فروقات إقليمية أكبر مقارنة بالأشياء. نحن نستخدم Decomposed-DIG لتحديد أمثلة محددة للفجوات، مثل توليد خلفيات نمطية في إفريقيا، وصعوبة توليد مركبات حديثة في إفريقيا، ووضع بعض الأشياء بشكل غير واقعي في بيئات خارجية. مسترشدين بمقياسنا، نحن نستخدم هيكل تحفيزي جديد يمكّن من تحسين بنسبة 52% في أسوأ منطقة وتحسين متوسط بنسبة 20% في تنوع الخلفيات المولدة.