NTU RGB+D 120: معيار واسع النطاق لفهم نشاط الإنسان ثلاثي الأبعاد

حقق البحث في تحليل نشاط الإنسان المستند إلى العمق أداءً استثنائيًا وأظهر فعالية التمثيل ثلاثي الأبعاد للتعرف على الأنشطة. تحتوي المعايير الحالية المعتمدة على العمق و RGB+D للتعرف على الأنشطة على عدد من القيود، بما في ذلك نقص عينات التدريب واسعة النطاق، ووجود عدد واقعي من فئات الفئات المتميزة، وتنوع في زوايا الكاميرا، وظروف بيئية متباينة، وتنوع في الأشخاص. في هذا العمل، نقدم مجموعة بيانات واسعة النطاق للتعرف على نشاط الإنسان باستخدام RGB+D، تم جمعها من 106 موضوعات متميزة وتحتوي على أكثر من 114 ألف عينة فيديو و8 ملايين إطار. تحتوي مجموعة البيانات هذه على 120 فئة نشاط مختلفة تشمل الأنشطة اليومية، المتبادلة والمتعلقة بالصحة. نقوم بتقييم أداء سلسلة من طرق تحليل النشاط ثلاثي الأبعاد الموجودة على هذه المجموعة من البيانات، ونظهر ميزة تطبيق طرق التعلم العميق للتعرف على نشاط الإنسان المستند إلى ثلاثي الأبعاد. علاوة على ذلك، نحقق في مشكلة جديدة للتعرف على النشاط ثلاثي الأبعاد من لقطة واحدة على مجموعة بياناتنا، وتم اقتراح إطار عمل بسيط ولكنه فعال يعرف باسم Action-Part Semantic Relevance-aware (APSR) لهذه المهمة، مما يؤدي إلى نتائج واعدة في التعرف على الفئات الجديدة من الأنشطة. نعتقد أن تقديم هذه المجموعة الواسعة النطاق من البيانات سيمكن المجتمع من تطبيق وتكييف وتطوير تقنيات التعلم المتعطشة للبيانات لفهم نشاط الإنسان المعتمد على العمق و RGB+D.