Key points are not available for this paper at this time.
إن إعادة بناء شبكة اليد ثلاثية الأبعاد في الوقت الحقيقي تعتبر تحديًا، خاصة عندما تمسك اليد بشيء ما. بعيدًا عن الطرق السابقة، نقوم بتصميم H2ONet لاستغلال المعلومات غير المحجوبة بالكامل من عدة إطارات لتعزيز جودة الإعادة البناء. أولاً، نفصل إعادة بناء شبكة اليد إلى فرعين، واحد لاستغلال معلومات غير المحجوبة على مستوى الأصابع والآخر لاستغلال التوجيه العام لليد، مع هياكل خفيفة لتعزيز الاستدلال في الوقت الحقيقي. ثانيًا، نقترح دمج ميزات مراعية للإغلاق على مستوى الأصابع، مستفيدين من معلومات الإغلاق المتوقعة على مستوى الأصابع كإرشاد لدمج المعلومات على مستوى الأصابع عبر الإطارات الزمنية. علاوة على ذلك، نصمم دمج ميزات مراعية للإغلاق على مستوى اليد لاسترجاع المعلومات غير المحجوبة من الإطارات الزمنية القريبة. لقد أجرينا تجارب على مجموعات بيانات Dex-YCB و HO3D-v2 مع حالات تحدي للإغلاق بين اليد والكائن، مما يظهر أن H2ONet قادر على العمل في الوقت الحقيقي ويحقق أداءً رائدًا في كل من دقة شبكة اليد والوضع. ستصدر الشيفرة على GitHub.
درس يو وزملاؤه (الخميس) هذا السؤال.