VG4D: نموذج الرؤية واللغة يتجه نحو التعرف على الفيديو ثلاثي الأبعاد

فهم العالم الحقيقي من خلال فيديو سحاب النقاط هو جانب حاسم من الروبوتات وأنظمة القيادة الذاتية. ومع ذلك، فإن الأساليب السائدة للتعرف على سحاب النقاط ثلاثي الأبعاد لها محدوديات بسبب دقة المستشعر، مما يؤدي إلى نقص في المعلومات التفصيلية. أظهرت التطورات الأخيرة أن نماذج الرؤية واللغة (VLM) التي تم تدريبها مسبقًا على مجموعات بيانات نصوص وصور على نطاق واسع يمكن أن تتعلم مفاهيم بصرية دقيقة يمكن نقلها إلى مهام سفلية متنوعة. ومع ذلك، لا تزال مشكلة دمج VLM بفعالية في مجال سحاب النقاط ثلاثي الأبعاد غير محلولة. في هذا العمل، نقترح إطار عمل نماذج الرؤية واللغة ثلاثي الأبعاد (VG4D) لنقل معرفة VLM من النماذج المدربة مسبقًا على النصوص والصور إلى شبكة سحاب النقاط ثلاثي الأبعاد. تتضمن طريقتنا محاذاة تمثيل المشفر ثلاثي الأبعاد مع VLM التي تتعلم مساحة بصرية ونصية مشتركة من التدريب على أزواج الصور والنصوص على نطاق واسع. من خلال نقل معرفة VLM إلى المشفر ثلاثي الأبعاد ودمج VLM، حققنا في VG4D أداءً محسنًا في التعرف. لتعزيز المشفر ثلاثي الأبعاد، نقوم بتحديث العمود الفقري الديناميكي الكلاسيكي لسحاب النقاط ونقترح إصدارًا محسنًا من PSTNet، im-PSTNet، الذي يمكنه نمذجة فيديو سحاب النقاط بكفاءة. تظهر التجارب أن طريقتنا تحقق أداءً متفوقًا في التعرف على الأفعال في كل من مجموعة بيانات NTU RGB+D 60 ومجموعة بيانات NTU RGB+D 120.