تعلم نموذج لشكل الوجه والتعبير من مسحات ثلاثية الأبعاد بأبعاد زمنية

يمتلك مجال نمذجة الوجه ثلاثي الأبعاد فجوة كبيرة بين الأساليب المتطورة والبدائية. في الطرف المتقدم، فإن أفضل رسوم متحركة للوجه لا يمكن تمييزها عن البشر الحقيقيين، لكن هذا يأتي على حساب عمل يدوي مكثف. في الطرف البدائي، يعتمد التقاط الوجه من مستشعرات العمق الاستهلاكية على نماذج الوجه ثلاثية الأبعاد التي ليست معبرة بما يكفي لالتقاط التباين في شكل الوجه الطبيعي والتعبيرات. نحن نسعى إلى إيجاد حل وسط عن طريق تعلم نموذج للوجه من آلاف المسحات ثلاثية الأبعاد المتقنة التماثل. تم تصميم نموذج FLAME (الوجوه المتعلمة بنموذج مفصل وتعبيرات) ليعمل مع برامج الرسوميات الحالية وسهل التكييف مع البيانات. يستخدم FLAME فضاء شكل خطي تم تدريبه من 3800 مسحة لرؤوس بشرية. يجمع FLAME بين هذا الفضاء الشكلي الخطي مع فك مفصل، ورقبة، وكُرَيَّتي عين تعتمد على الوضع، وأشكال تصحيحية إضافية، وأشكال تعبيرية عالمية. يتم تعلم الأشكال المرتبطة بالوضع والتعبير من سلاسل وجه 4D في مجموعة بيانات D3DFACS بالإضافة إلى سلاسل 4D الإضافية. نقوم بتسجيل شبكة نموذج بدقة إلى تسلسلات المسح ونقوم بتوفير تسجيلات D3DFACS لأغراض البحث. بشكل إجمالي، يتم تدريب النموذج من أكثر من 33000 مسحة. يعد FLAME ذا أبعاد منخفضة ولكنه أكثر تعبيرًا من نموذج FaceWarehouse ونموذج Basel للوجه. نقارن FLAME بهذه النماذج عن طريق ملاءمتها لمسحات ثلاثية الأبعاد ثابتة وتسلسلات 4D باستخدام نفس طريقة التحسين. FLAME أكثر دقة بشكل ملحوظ ومتاحة لأغراض البحث (http://flame.is.tue.mpg.de).