وحدة آلية الانتباه مع إدراك مكاني وتفاعل معلومات القناة

الملخص في مجال التعلم العميق، تعتبر آلية الانتباه، كتقنية تحاكي العمليات الإدراكية والانتباه البشرية، قد حققت إنجازات ملحوظة. تقوم الطرق الحالية بدمج آلية انتباه القناة وآلية انتباه مكاني بشكل متوازي أو متسلسل لتعزيز القدرة التمثيلية للنموذج، لكنها لا تأخذ بعين الاعتبار تمامًا التفاعل بين المعلومات المكانية ومعلومات القناة. تقترح هذه الورقة طريقة يتم فيها تسلسل وحدة قناة مضمنة في الفضاء ووحدة فضاء مضمنة في القناة لتعزيز القدرة التمثيلية للنموذج. أولاً، في وحدة القناة المضمنة في الفضاء، لتعزيز القدرة التمثيلية للمنطقة ذات الاهتمام في أبعاد مكانية مختلفة، يتم تقسيم موتر الإدخال إلى فروع أفقية ورأسية وفقًا للأبعاد المكانية لتخفيف فقدان معلومات الموقع عند إجراء تجميع ثنائي الأبعاد. لتسهيل معالجة الميزات وتسليط الضوء على الميزات المحلية، يتم الحصول على أربع فروع من خلال التجميع الأقصى والعادي العالمي، ويتم تجميع الميزات بواسطة طرق تجميع مختلفة للحصول على موترين مميزين بطرق تجميع مختلفة. للسماح لمخرجات موتر الميزات الأفقية والرأسية بالتركيز على ميزات تجميع مختلفة في وقت واحد، يتم تقسيم موترين الميزات وتحويلهما بعدديًا وفقًا للأبعاد المكانية، ويتم تجميع الميزات لاحقًا على طول الاتجاه المكاني. ثم، في وحدة الفضاء المضمنة في القناة، لمشكلة عدم وجود اتصال عبر القناة بين المجموعات في الالتفاف المجمع ووجود المعلمات الكبيرة، تستخدم هذه الورقة مصفوفات حزمة مجمعة قابلة للتكيف. بناءً على مصفوفات الحزمة التي تستفيد من العلاقة التوصيلية الموجودة بين عدد القنوات وحجم نوى الالتفاف، يتم حساب حجم نواة الالتفاف بشكل قابل للتكيف لتحقيق تفاعل عبر القناة بشكل قابل للتكيف، مما يعزز الارتباط بين أبعاد القناة مع ضمان عدم تغيير الأبعاد المكانية. أخيرًا، يتم استخدام الأوزان الأفقية والرأسية للمخرجات كأوزان انتباه. في التجربة، يتم تضمين وحدة آلية الانتباه المقترحة في هذه الورقة في شبكات MobileNetV2 وResNet عند أعماق مختلفة، ويتم إجراء تجارب شاملة على مجموعات بيانات CIFAR-10 وCIFAR-100 وSTL-10. تظهر النتائج أن الطريقة المذكورة في هذه الورقة تلتقط وتستخدم ميزات بيانات الإدخال بشكل أكثر فعالية من الطرق الأخرى، مما يحسن دقة التصنيف بشكل كبير. على الرغم من تقديم عبء حسابي إضافي (0.5 مليون)، إلا أن الأداء العام للنموذج لا يزال يحقق أفضل النتائج عند النظر في العبء الحسابي بشكل شامل.