تصميم استراتيجيات تصميم الشبكات من خلال تحليل المسار التدرجي

لقد كان تصميم بنية شبكة تعبيرية عالية الكفاءة وجودة عالية دائمًا هو الموضوع البحثي الأكثر أهمية في مجال التعلم العميق. معظم استراتيجيات تصميم الشبكات الحالية تركز على كيفية دمج الميزات المستخرجة من طبقات مختلفة، وكيفية تصميم وحدات حسابية لاستخراج هذه الميزات بشكل فعال، مما يعزز القدرة التعبيرية للشبكة. تقترح هذه الورقة استراتيجية جديدة لتصميم الشبكة، أي تصميم بنية الشبكة استنادًا إلى تحليل المسار التدرجي. بشكل عام، تستند معظم استراتيجيات تصميم الشبكات السائدة اليوم إلى المسار الأمامي، بمعنى أن بنية الشبكة مصممة بناءً على مسار البيانات. في هذه الورقة، نأمل في تعزيز القدرة التعبيرية للنموذج المدرب من خلال تحسين قدرة الشبكة على التعلم. نظرًا لأن الآلية التي تدفع تعلم معلمات الشبكة هي الخوارزمية العكسية، فإننا نصمم استراتيجيات تصميم الشبكة استنادًا إلى مسار الانتشار العكسي. نقترح استراتيجيات تصميم المسار التدرجي على مستوى الطبقة، ومستوى المرحلة، ومستوى الشبكة، وتثبت استراتيجيات التصميم أنها متفوقة وقابلة للتطبيق من خلال التحليل النظري والتجارب.