الشبكات التنافسية التوليدية المتكيفة مع النصوص: التلاعب بالصور باستخدام اللغة الطبيعية

تتناول هذه الورقة البحثية مشكلة التلاعب بالصور باستخدام الوصف الطبيعي. تهدف مهمتنا إلى تعديل السمات البصرية لكائن في الصورة بشكل دلالي وفقًا للنص الذي يصف الصورة الجديدة. على الرغم من أن الأساليب الحالية تقوم بتوليد صور ذات سمات جديدة، إلا أنها لا تحافظ تمامًا على المحتويات غير المتعلقة بالنص من الصورة الأصلية. في هذه الورقة، نقترح الشبكة التنافسية التوليدية المتكيفة مع النصوص (TAGAN) لتوليد صور تم تلاعبها دلاليًا مع الحفاظ على العناصر غير المتعلقة بالنص. المفتاح لطريقتنا هو المميز المتكيف مع النص الذي ينشئ مميزين محليين وفقًا للنص المدخل لتصنيف السمات بشكل مستقل. مع هذا المميز، يتمكن مولد الصور من إنتاج صور حيث يتم تعديل المناطق التي تتوافق فقط مع النص المعطى. تظهر النتائج التجريبية أن طريقتنا تتفوق على الأساليب الحالية في مجموعتي بيانات CUB و Oxford-102، وكانت نتائجنا مفضلة إلى حد كبير في دراسة المستخدمين. تُظهر التحليلات الواسعة أن طريقتنا قادرة على فصل السمات البصرية وإنتاج مخرجات مرضية.