التقليم هو الأمثل لتعلم الميزات النادرة في الأبعاد العالية

بينما يُلاحَظ عمومًا في الممارسة أن تقليم الشبكات إلى مستوى معين من الندرة يمكن أن يحسن من جودة الميزات، لا يزال التفسير النظري لهذا الظاهرة غير واضح. في هذا العمل، نحقق في ذلك من خلال إثبات أن مجموعة واسعة من النماذج الإحصائية يمكن تعلمها بشكل مثالي باستخدام الشبكات العصبية المقلمة المدربة باستخدام تدرج الانحدار، في الأبعاد العالية. نحن نعتبر تعلم كل من نماذج المؤشر الواحد ومتعدد المؤشرات من الشكل y = ^* (V^ x) +، حيث ^* هو متعدد الحدود من الدرجة p، و V R^d r حيث r < d، هي المصفوفة التي تحتوي على اتجاهات النموذج ذات الصلة. نفترض أن V تلبي شرطًا معينًا من الندرة q للمصفوفات ونظهر أن تقليم الشبكات العصبية نسبةً إلى مستوى الندرة لـ V يحسن من تعقيد عيناتها مقارنةً بالشبكات غير المقلمة. علاوة على ذلك، نؤسس حدودًا دنيا لاستعلامات الإحصاء الارتباطي (CSQ) في هذا الإطار، تأخذ مستوى الندرة لـ V في الاعتبار. نظهر أنه إذا تجاوز مستوى الندرة لـ V حدًا معينًا، فإن تدريب الشبكات المقلمة باستخدام خوارزمية تدرج الانحدار يحقق تعقيد العينة المقترح بواسطة الحد الأدنى لـ CSQ. في نفس السيناريو، ومع ذلك، تشير نتائجنا إلى أن الطرق المستقلة عن الأساس، مثل النماذج المدربة عبر تدرج الانحدار القياسي المبدئي بأوزان عشوائية غير موجهة، يمكن أن تحقق فقط تعقيد عينات دون المستوى الأمثل.