أدى تطوير التكنولوجيا الافتراضية والذكاء الاصطناعي إلى جعل أتمتة وذكاء قيادة الكورال اتجاهًا مهمًا لتعزيز قوة التعبير في العروض الكورالية على الإنترنت. ومع ذلك، فإن الطرق الحالية غالبًا ما تفشل في توليد إيماءات قيادة طبيعية ومتزامنة بشكل وثيق مع الموسيقى. لهذا السبب، تقترح هذه الدراسة نموذج توليد حركة القائد الافتراضي القائم على Conformer (CV-CMGM) بناءً على المحول المعزز بالت convolution، والذي يستخدم لتوليد تلقائي لتسلسل من حركات القائد ثلاثية الأبعاد من إشارات الموسيقى. يتكون نموذج CV-CMGM من مشفر موسيقي وحركي، ومولد متعدد الأنماط، ومميز زمني محلي ومضمون عالمي. تلتقط بنية Conformer التبعيات الزمنية المحلية والعالمية في تسلسلات الموسيقى والحركة، مما يمكّن من التوليد المتعدد الأنماط من الموسيقى إلى حركات القائد. تظهر النتائج التجريبية على مجموعة بيانات ConductorMotion100 أن CV-CMGM حقق مسافة Fréchet Inception للحركة (FID) قدرها 27.96، و FID هندسي قدره 19.35، وتنوع حركي وهندسي بلغ 5.94 و5.12 على التوالي، ودرجة محاذاة الإيقاع بلغت 0.214. يتفوق CV-CMGM على النماذج المقارنة في جميع المؤشرات. تشير دراسات المستخدمين أيضًا إلى أن حركات القائد الافتراضية التي تولدها CV-CMGM تحقق درجات أعلى من 4.4 في قابلية التفسير، والتعبيرية الديناميكية، والتناسق الهيكلي الموسيقي، والطبيعية/النعومة، متفوقة على النماذج الأخرى. تشير هذه البيانات إلى أن الأسلوب المقترح يمكنه توليد حركات قيادة افتراضية تتوافق مع المحتوى الموسيقي وتظهر تعبيرية جيدة.
درس وين وين زو (الثلاثاء) هذا السؤال.