حول طريقة نيوتن لإلغاء تعلم الشبكات العصبية

يسهل إلغاء تعلم الآلة ملكية البيانات الشخصية، بما في ذلك ``الحق في النسيان''. تزايد تطبيقات الشبكات العصبية (NNs) المدربة على بيانات المستخدمين الشخصية يستدعي الحاجة إلى تطوير خوارزميات لإلغاء تعلم NN. نظرًا لأن إعادة التدريب مكلفة، غالبًا ما يتم تحقيق الكفاءة من خلال إلغاء التعلم التقريبي الذي يهدف إلى إلغاء تعلم NN المدرب ليكون قريبًا من المعاد تدريبه (في التوزيع). على الرغم من أن طريقة نيوتن استخدمت في أعمال سابقة لإلغاء تعلم النماذج الخطية بشكل تقريبي، إلا أن تكييفها لإلغاء تعلم NN غالبًا ما يواجه مصفوفات هيسية مت degenerate تجعل حساب تحديث نيوتن مستحيلاً. في هذه الورقة، سنظهر أولاً أنه عندما تقترن بحلول بسيطة ولكنها غالبًا فعالة للتخفيف من مشكلة الانحراف لإلغاء التعلم، تتعرض طريقة نيوتن بشكل مفاجئ للنسيان الكارثي. للتغلب على هذه الصعوبة، نقوم بمراجعة طريقة نيوتن لتشمل منتظم مبرر من الناحية النظرية ونقترح طريقة نيوتن المراقبة مكعبياً لإلغاء تعلم NN. يأتي المنتظم المكعب مع فوائد عدم الحاجة إلى ضبط يدوي ويتيح تفسيرا طبيعيا. تظهر التقييمات التجريبية على عدة نماذج ومجموعات بيانات واقعية أن طريقتنا أكثر مقاومة للنسيان الكارثي وتؤدي بشكل أفضل من المعايير، وخاصة في إلغاء التعلم التتابعي.