شبكات التجميع الشاملة لتحسين دقة الصور الخفيفة

بينما حقق إطار عمل ViT الخفيف تقدمًا هائلًا في تحسين دقة الصور، فإن نمذجة الانتباه الذاتي أحادي الأبعاد، بالإضافة إلى نظام التجميع المتجانس، تحد من حقل الاستقبال الفعال (ERF) ليشمل تفاعلات أكثر شمولاً من كل من الأبعاد المكانية والقنوات. للتغلب على هذه العيوب، يقترح هذا العمل مكونين معززين ضمن هندسة Omni-SR الجديدة. أولاً، يتم اقتراح كتلة الانتباه الذاتي الشاملة (OSA) بناءً على مبدأ التفاعل الكثيف، والذي يمكن أن يقوم بنمذجة تفاعل البيكسل من كل من الأبعاد المكانية والقنوات في نفس الوقت، مستخرجًا العلاقات المحتملة عبر المحاور الشاملة (أي، المكانية والقنوات). بالتعاون مع استراتيجيات تقسيم النوافذ السائدة، يمكن أن تحقق OSA أداءً متفوقًا مع ميزانيات حوسبة جذابة. ثانيًا، يتم اقتراح نظام تفاعل متعدد المقاييس لتخفيف حقل الاستقبال الفرعي الأمثل (أي، التشبع المبكر) في النماذج الضحلة، مما يسهل الانتشار المحلي والتفاعلات على المقاييس المتوسطة والعالمية، موفرًا كتلة بناء تجميع شاملة. تظهر التجارب الواسعة أن Omni-SR تحقق أداءً قياسيًا مرتفعًا على معايير تحسين دقة الصور الخفيفة (على سبيل المثال، 26.95dB@Urban100 x4 مع 792K فقط من المعلمات). الكود الخاص بنا متاح على https://github.com/Francis0625/Omni-SR.