استغلال التوقف المحدود لتسريع تحليلات البيانات الكبيرة

العديد من خوارزميات التعلم الآلي (ML) الحديثة تكرارية، حيث تتقارب نحو حل نهائي من خلال العديد من التكرارات على بيانات الإدخال. تستكشف هذه الورقة طرقًا لاستغلال الطبيعة التقاربية لهذه الخوارزميات لتحسين الأداء، من خلال السماح بخيوط متوازية وموزعة لاستخدام نماذج اتساق فضفاضة لحالة الخوارزمية المشتركة. وبشكل خاص، نركز على التوقف المحدود، حيث يمكن لكل خيط أن يرى عرضًا للحل الوسيط الحالي الذي قد يكون متخلفًا بعدد محدود من التكرارات. يسمح السماح بالتوقف بتقليل تكاليف الاتصال (التحديثات المجمعّة والقراءات المخزنة) والتزامن (تقليل الانتظار للقفل أو الخيوط الضعيفة). إحدى الطرق هي زيادة عدد التكرارات بين الحواجز في نموذج التوازي الشائع الاستخدام المعروف باسم التوازي المتزامن الضخم (BSP)، مما يخفف من هذه التكاليف عندما تتقدم جميع الخيوط بنفس السرعة. طريقة أكثر مرونة، تسمى التوازي المتزامن المتخلف (SSP)، تتجنب الحواجز وتسمح للخيوط بأن تكون بعدد محدد من التكرارات أمام أبطأ خيط حالي. تُظهر التجارب الواسعة مع خوارزميات التعلم الآلي لنمذجة الموضوع، والتصفية التعاونية، وPageRank أن كلا الطريقتين تزيدان بشكل كبير من سرعات التقارب، حيث تتصرفان بشكل مشابه عندما لا يوجد خيوط ضعيفة، لكن SSP يتفوق على BSP في وجود خيوط ضعيفة.