التعرف على الإيماءات اليدوية الخالية من الصراع الموجهة بواسطة هيكل العظام للتحكم في الروبوت

لقد كانت تحليل الهيكل العظمي الذي قدمه كينكت وسيلة فعالة للتفاعل. تفاعل تحليل الهيكل العظمي أكثر بديهية ويتماشى بشكل أفضل مع السلوكيات الطبيعية للبشر مقارنةً بالطرق التقليدية. ومع ذلك، غالبًا ما يواجه تحليل الهيكل العظمي مشكلة إنتاج تعريفات متعارضة للإيماءات إذا كانت حركتان تفاعليتان متشابهتين. بالإضافة إلى ذلك، فإنه يخطئ دائمًا في التعرف على بعض الحركات الجسدية غير الواعية أو المتعمدة كإيماءات إيجابية. لهذا الغرض، اقترحنا طريقة تفاعل جديدة معززة بكل من خوارزميات الرؤية والتعلم العميق. تم استخدام شبكة عصبية متبقية محسّنة للتعرف على الإيماءات التي تُستخدم بعد ذلك للتمييز بين الحركات الجسدية المشابهة. تم اقتراح مخطط تفاعل إنسان-آلة مدمج يتضمن ثلاثة مكونات رئيسية: (أ) نهج تقسيم شكل اليد المعزز باكتشاف لون البشرة وتتبع مفاصل الهيكل العظمي، (ب) الكشف المعزز بالتعلم العميق لتغيرات الإيماءات و(ج) التعرف على أوامر الإيماءات المستندة إلى التعلم العميق للتحكم في الروبوت. تم إجراء تجارب باستخدام الطريقة المقترحة لتفاعل الروبوت. وأظهرت النتائج أنه يمكن تحديد الحركات الجسدية غير الواعية بدقة. يمكن أيضًا التمييز بين الحركات الجسدية المشابهة بشكل موثوق. يمكن أن تعمل الطريقة المقترحة في الوقت الحقيقي مع أداء تنافسي.