FaceSense

لمس الوجه هو عادة إنسانية غير واعية. إن اللمس المتكرر للمناطق الحساسة/المخاطية في الوجه (العيون، الأنف، والفم) يزيد من مخاطر الصحة من خلال تمرير مسببات الأمراض إلى الجسم وانتشار الأمراض. علاوة على ذلك، فإن المراقبة الدقيقة لملامسة الوجه ضرورية للتدخل السلوكي. أنظمة المراقبة الحالية تلتقط فقط الأجسام التي تقترب من الوجه، بدلاً من اكتشاف اللمسات الفعلية. وبالتالي، فإن هذه الأنظمة عرضة للإيجابيات الكاذبة عند حركة اليد أو الجسم بالقرب من الوجه (مثل، التقاط الهاتف). نقدم نظام FaceSense، وهو نظام يُرتدى في الأذن قادر على تحديد اللمسات الفعلية والتفريق بينها وبين المناطق الحساسة/المخاطية من مناطق الوجه الأخرى. من خلال اتباع نهج متعدد الوسائط، يدمج FaceSense صور حرارية منخفضة الدقة وإشارات فسيولوجية. تعمل أجهزة الاستشعار الحرارية على استشعار الإشارة الحرارية تحت الحمراء المنبعثة من يد تقترب، بينما تراقب أجهزة الاستشعار الفسيولوجية تغيرات المقاومة الناتجة عن تشوه الجلد أثناء اللمس. يتم إدخال الإشارات الحرارية والفسيولوجية المعالجة في نموذج تعلم عميق (TouchNet) لاكتشاف اللمسات وتحديد المنطقة الوجهية لللمسة. قمنا بصناعة نماذج أولية باستخدام أجهزة متاحة في السوق وأجرينا تجارب مع 14 مشاركًا أثناء قيامهم بأنشطة يومية مختلفة (مثل، الشرب، التحدث). تظهر النتائج درجة F1 ماكرو قدرها 83.4% لاكتشاف اللمسات مع طريقة التحقق من صحة مستخدم واحد، ودرجة F1 ماكرو قدرها 90.1% لتحديد منطقة اللمسة باستخدام نموذج مخصص.