تعديل الانتشار: نقل نماذج الانتشار عبر سلسلة النسيان

لقد تقدمت نماذج الانتشار بشكل كبير في مجال النمذجة التوليدية. ومع ذلك، فإن تدريب نموذج انتشار يعد مكلفًا من الناحية الحاسوبية، مما يخلق حاجة ملحة لتكييف نماذج الانتشار الجاهزة لمهام التوليد اللاحقة. تركز طرق التحسين الحالية على التعلم الانتقالي الفعّال من حيث المعلمات، لكنها تتجاهل الخصائص الأساسية للتحويل لنماذج الانتشار. في هذه الورقة، نحقق في قابلية نقل نماذج الانتشار ونلاحظ وجود اتجاه أحادي للنسيان في قابلية النقل على طول العملية العكسية. بناءً على هذه الملاحظة ورؤى نظرية جديدة، نقدم تعديل الانتشار، وهو نهج نقل بسيط لكنه محبط، يستفيد من ميول سلسلة النسيان. يشجع تعديل الانتشار النموذج المعدل بدقة للاحتفاظ بالمعرفة المدربة مسبقًا في نهاية سلسلة إزالة الضوضاء بالقرب من البيانات الناتجة بينما يتخلص من الجانب الضوضائي الآخر. نجري تجارب شاملة لتقييم تعديل الانتشار، بما في ذلك نقل نماذج الانتشار المدربة مسبقًا إلى ثمانية أجيال لاحقة وتكييف الانتشار المستقر لخمس ظروف تحكم مع ControlNet. يحقق تعديل الانتشار تحسينًا بنسبة 26% مقارنةً بالتحسين القياسي ويعزز سرعة التقارب لـControlNet بنسبة 24%. ومن الجدير بالذكر أن تقنيات التعلم الانتقالي الفعالة من حيث المعلمات لنماذج الانتشار يمكن أن تستفيد أيضًا من تعديل الانتشار.