Control3Diff: تعلم نماذج الانتشار ثلاثية الأبعاد القابلة للتحكم من صور العرض الواحد

أصبحت نماذج الانتشار مؤخرًا الطريقة الافتراضية لنمذجة التوليد في مجال الأبعاد الثنائية. ومع ذلك، فإن توسيع نماذج الانتشار لتشمل الأبعاد الثلاثية يمثل تحديًا، بسبب الصعوبات في الحصول على بيانات حقيقة ثلاثية الأبعاد للتدريب. من جهة أخرى، أظهرت نماذج GAN ثلاثية الأبعاد التي تدمج التمثيلات ثلاثية الأبعاد الضمنية في نماذج GAN توليدًا ملحوظًا على الوعي ثلاثي الأبعاد عند تدريبها فقط على مجموعات بيانات صور عرض واحد. ومع ذلك، لا توفر نماذج GAN ثلاثية الأبعاد طرقًا مباشرة للتحكم الدقيق في توليف الصور. لمعالجة هذه التحديات، نقدم Control3Diff، نموذج انتشار ثلاثي الأبعاد يجمع بين نقاط قوة نماذج الانتشار ونماذج GAN ثلاثية الأبعاد لتوليف صور ثلاثية الأبعاد قابلة للتحكم لمجموعات بيانات عرض واحد. يقوم Control3Diff بشكل صريح بنمذجة التوزيع الكامن الأساسي (مع إمكانية توفير شروط على المدخلات الخارجية)، مما يتيح التحكم المباشر أثناء عملية الانتشار. علاوة على ذلك، نهجنا عام وقابل للتطبيق على أي نوع من المدخلات التحكمية، مما يتيح لنا تدريبه بنفس الهدف الخاص بالانتشار دون أي إشراف إضافي. نحن نتحقق من كفاءة Control3Diff على المعايير القياسية لتوليد الصور بما في ذلك FFHQ وAFHQ وShapeNet، باستخدام مدخلات شرطية متنوعة مثل الصور والرسومات والنصوص.