تقسيم يد الجسم باستخدام تصوير متعدد الوسائط مع بيانات حرارية ولونية لتسليم آمن للأغراض الروبوتية

تقدم هذه الورقة تطبيقًا للشبكات العصبية التي تعمل على بيانات ثلاثية الأبعاد متعددة الوسائط (سحابة نقاط ثلاثية الأبعاد، RGB، حراري) لتقسيم أيدي البشر والأشياء الممسكة بها بشكل فعال ودقيق لتحقيق تسليم آمن للأشياء بين البشر والروبوتات. نحن نناقش المشكلات التي تمت مواجهتها في بناء نظام استشعار متعدد الوسائط، مع التركيز على المعايرة والمحاذاة لمجموعة من الكاميرات بما في ذلك كاميرات RGB، حرارية، وأشعة تحت حمراء قريبة. نقترح استخدام هدف معايرة من رقعة الشطرنج من النحاس والبلاستيك مع مصدر ضوئي نشط داخلي (أشعة تحت حمراء قريبة وضوء مرئي). من خلال تسخين سريع، يمكن التقاط هدف المعايرة بشكل متزامن وواضح بواسطة جميع الكاميرات. استنادًا إلى مجموعة البيانات متعددة الوسائط التي تم التقاطها بواسطة نظام الاستشعار لدينا، تم استخدام PointNet وPointNet++ وRandLA-Net للتحقق من فعالية تطبيق بيانات سحابة النقاط متعددة الوسائط لتقسيم اليد والجسم. تم تدريب هذه الشبكات على أوضاع بيانات مختلفة (XYZ، XYZ-T، XYZ-RGB، وXYZ-RGB-T). تظهر النتائج التجريبية تحسنًا ملحوظًا في أداء التقسيم لنمط XYZ-RGB-T (متوسط التقاطع على الاتحاد: 82.8% بواسطة RandLA-Net) مقارنة بالأوضاع الثلاثة الأخرى (77.3% بواسطة XYZ-RGB، 35.7% بواسطة XYZ-T، 35.7% بواسطة XYZ)، ومن الجدير بالذكر أن التقاطع على الاتحاد لفئة اليد الواحدة يصل إلى 92.6%.