Key points are not available for this paper at this time.
في السنوات الأخيرة، حقق مجال التعرف على الحركات باستخدام نماذج تلافيف بيانية زمنية مكانية لبيانات الهيكل العظمي البشري تقدمًا كبيرًا. ومع ذلك، تميل المنهجيات الحالية إلى إيلاء الأولوية لتلافيف الرسوم البيانية المكانية، مما يؤدي إلى عدم الاستفادة الكاملة من المعلومات القيمة الموجودة في بيانات الهيكل العظمي. وهذا يقيد قدرة النموذج على التقاط أنماط البيانات المعقدة بشكل فعال، خاصة في بيانات السلاسل الزمنية، مما يؤثر بشكل كبير على دقة التعرف. لمعالجة القضايا المذكورة أعلاه، تقدم هذه الورقة شبكة تلافيف بيانية متعددة الإرشادات تعتمد على انتباه الدلالات (ASMGCN)، والتي يمكن أن تستخرج الخصائص العميقة في بيانات الهيكل العظمي بشكل أكثر شمولًا. على وجه التحديد، تتضمن ASMGCN وحدة تلافيف زمنية جديدة تحتوي على آلية انتباه وشبكة متبقية متعددة المقاييس، مما يمكنها من ضبط الأوزان بين رسومات الهيكل العظمي في نقاط زمنية مختلفة بشكل ديناميكي، مما يتيح التقاط أفضل للميزات النسبية. بالإضافة إلى ذلك، يتم إدخال المعلومات الدلالية في دالة الخسارة، مما يعزز قدرة النموذج على تمييز الحركات المماثلة. علاوة على ذلك، يتم استكشاف معلومات الإحداثيات لمفاصل مختلفة ضمن نفس الإطار لتوليد ميزات موضعية جديدة نسبيًا تعرف بالتدفقات المركزية والطاردة بناءً على مركز الجاذبية. يتم دمج هذه الميزات مع ميزات الموضع والحركة الأصلية للهيكل العظمي، بما في ذلك المفاصل والعظام، مما يثري المدخلات إلى شبكة GCN. تظهر النتائج التجريبية على مجموعات بيانات NW-UCLA و NTU RGB+D (NTU60) و NTU RGB+D 120 (NTU120) أن ASMGCN يتفوق على طرق التعرف على الحركات البشرية الحديثة (SOTA)، مما يدل على قدرته على تقدم مجال التعرف على الحركات باستخدام بيانات الهيكل العظمي.
درس Zhang et al. (Thu) هذا السؤال.