إنتر دريمر: تفاعل الإنسان-الشيء الديناميكي ثلاثي الأبعاد من النص بدون تدريب مسبق

شهد توليد الحركة البشرية المشروط بالنص تقدمًا كبيرًا مع نماذج الانتشار المدربة على بيانات التقاط الحركة الواسعة والتعليقات النصية المقابلة. ومع ذلك، فإن توسيع مثل هذا النجاح إلى توليد تفاعل الإنسان-الشيء الديناميكي ثلاثي الأبعاد يواجه تحديات ملحوظة، ويرجع ذلك أساسًا إلى نقص بيانات التفاعل على نطاق واسع والوصف الشامل الذي يتماشى مع هذه التفاعلات. تأخذ هذه الورقة المبادرة وتعرض إمكانيات توليد تفاعلات الإنسان-الشيء دون تدريب مباشر على بيانات زوجية من النص والتفاعل. بصيرتنا الرئيسية لتحقيق ذلك هي أن دلالة التفاعل والديناميات يمكن فصلها. نظرًا لعجزنا عن تعلم دلالة التفاعل من خلال التدريب المراقب، فإننا نستفيد بدلاً من ذلك من نماذج كبيرة مدربة مسبقًا، موحدين المعرفة من نموذج لغة كبير ونموذج نص إلى حركة. بينما تقدم هذه المعرفة تحكمًا عالي المستوى في دلالة التفاعل، إلا أنها لا تستطيع فهم تعقيدات ديناميات التفاعل على المستوى المنخفض. للتغلب على هذه المشكلة، نقدم كذلك نموذجًا عالميًا مصممًا لفهم الفيزياء البسيطة، ونموذج كيف تؤثر أفعال الإنسان على حركة الأجسام. من خلال دمج هذه المكونات، يتمكن إطارنا الجديد، إنتر دريمر، من توليد تسلسلات تفاعل ثلاثية الأبعاد متماشية مع النص بطريقة بدون تدريب مسبق. نطبق إنتر دريمر على مجموعتي بيانات BEHAVE وCHAIRS، وتحليلنا التجريبي الشامل يظهر قدرته على توليد تسلسلات تفاعلات واقعية ومتسقة تتماشى بسلاسة مع التوجيهات النصية.