طريقة كوازى-نيوتن العشوائية للتحسين على نطاق واسع

تساؤل كيفية دمج معلومات الانحناء في طرق التقريب العشوائية هو تحدٍ. يؤدي التطبيق المباشر لتقنيات تحديث كوازى-نيوتن التقليدية لتحسين محدد إلى تقديرات انحناءات مشوشة تؤثر سلبًا على قوة التقارب. في هذه الورقة، نقترح طريقة كوازى-نيوتن عشوائية فعالة وقوية وقابلة للتوسع. تستخدم صيغة تحديث BFGS التقليدية في شكل ذاكرة محدودة، وتعتمد على الملاحظة أنه من المفيد جمع معلومات الانحناء نقطيًا، وفي فترات منتظمة، من خلال منتجات هس-متجه (مأخوذ عينات فرعية). تختلف هذه التقنية عن النهج التقليدي الذي يحسب اختلافات التدرجات، حيث يمكن أن يكون التحكم في جودة تقديرات الانحناء أمرًا صعبًا. نقدم نتائج عددية حول مشاكل تنشأ في تعلم الآلة تشير إلى أن الطريقة المقترحة تُظهر وعدًا كبيرًا.