الحساب الشرطي في الشبكات العصبية لنماذج أسرع

أصبح التعلم العميق الأداة الرائدة في العديد من التطبيقات، ولكن تقييم وتدريب النماذج العميقة يمكن أن يكون مكلفًا من حيث الوقت والحسابات. وقد تم اقتراح نهج الحساب الشرطي للتعامل مع هذه المشكلة (Bengio et al., 2013; Davis & Arel, 2013). يعمل هذا النهج من خلال تنشيط أجزاء معينة من الشبكة في كل مرة. في هذه الورقة، نستخدم التعلم المعزز كأداة لتحسين سياسات الحساب الشرطي. بشكل أكثر تحديدًا، نقوم بصبغ مشكلة تعلم السياسات المعتمدة على التنشيط لمجموعة من الوحدات كمشكلة تعلم معزز. نقترحScheme التعلم مدفوعة بسرعة الحساب، مما يعكس فكرة الرغبة في الحصول على تنشيطات اقتصادية مع المحافظة على دقة التنبؤ. نطبق خوارزمية تدرج السياسات لتعلم السياسات التي تحسن من دالة الخسارة هذه ونقترح آلية تنظيم تشجع تنويع سياسة التسرب. نقدم نتائج تجريبية مشجعة تبين أن هذا النهج يحسن من سرعة الحساب دون التأثير على جودة التقريب.