Key points are not available for this paper at this time.
على الرغم من تحقيق تقدم ملحوظ، إلا أن طرق إعادة بناء الصورة التوليدية العميقة الحالية لا تزال تظهر تعميماً منخفضاً عبر مشاهد مختلفة. ونتيجة لذلك، تحتوي الصور المولدة عادةً على عيوب أو تختلف البكسلات الممتلئة كثيرًا عن الحقيقة، مما يجعلها بعيدة عن التطبيقات في العالم الحقيقي. تعتبر التصفية التنبؤية على مستوى الصورة تقنية استعادة مستخدمة على نطاق واسع من خلال التنبؤ بالنوى المناسبة بشكل تكيفي وفقًا لمشاهد المدخلات المختلفة. مستلهمين من هذه الميزة الجوهرية، نستكشف إمكانية معالجة إعادة بناء الصورة كوظيفة تصفية. لهذا الغرض، نقوم أولاً بدراسة المزايا والتحديات للتصفية التنبؤية على مستوى الصورة لإعادة البناء: يمكن للطريقة الحفاظ على الهياكل المحلية وتجنب العيوب لكنها تفشل في ملء المناطق الكبيرة المفقودة. ثم نقترح التصفية الدلالية من خلال إجراء التصفية على مستوى الميزات العميقة، مما يملأ المعلومات الدلالية المفقودة لكنه يفشل في استعادة التفاصيل. لمعالجة القضايا مع اعتماد المزايا الخاصة، نقترح تقنية تصفية جديدة، أي، تصفية التوائم التفاعلية متعددة المستويات (MISF) التي تحتوي على فرعين: فرع توقع النواة (KPB) وفرع التصفية الدلالية والصورة (SIFB). هذان الفرعان مرتبطان بشكل تفاعلي: توفر SIFB ميزات متعددة المستويات لـ KPB بينما يتنبأ KPB بالنوى الديناميكية لـ SIFB. ونتيجة لذلك، تأخذ الطريقة النهائية ميزة التعبئة الفعالة على مستوى الدلالات والصورة لإعادة البناء بدقة عالية. علاوة على ذلك، نناقش العلاقة بين MISF وإعادة البناء المستندة إلى الترميز البسيط، استنتاجًا أن MISF يوفر عمليات تلافيف ديناميكية جديدة لتعزيز قدرة عامة عالية عبر المشاهد. نتحقق من طريقتنا على ثلاث مجموعات بيانات صعبة، أي، دونغوانغ، وPlaces2، وCelebA. تتفوق طريقتنا على الخطوط الأساسية الحديثة في أربعة مقاييس، أي، L₁، PSNR، SSIM، وLPIPS.
دراست Li وآخرون (الأربعاء) هذا السؤال.