تحليل البيانات الكبيرة المعتمد على حركة المرور في بيئات الحوسبة الجغرافية الموزعة مع وقت إكمال الوظائف المتوقع

لقد جذبت تحليلات البيانات الكبيرة اهتمامًا كبيرًا من كل من الصناعة والأكاديمية بسبب فوائدها الكبيرة في خفض التكاليف واتخاذ قرارات أفضل. مع النمو السريع لمختلف الخدمات العالمية، هناك حاجة متزايدة لتحليلات البيانات الكبيرة عبر مراكز البيانات المتعددة (DCs) الموجودة في بلدان أو مناطق مختلفة. يتطلب ذلك دعم منصة معالجة بيانات عبر مراكز البيانات محسّنة لبيئة الحوسبة الجغرافية الموزعة. على الرغم من أنه تم بذل بعض الجهود الأخيرة لتحليل البيانات الكبيرة الجغرافية الموزعة، إلا أن هذه الجهود لا يمكن أن تضمن وقت إكمال الوظائف المتوقع، وقد تتسبب في زيادة هائلة في حركة المرور عبر الشبكة بين مراكز البيانات، وهي مورد نادر مشترك بين العديد من التطبيقات. في هذه الورقة، ندرس كيفية تقليل حركة المرور بين مراكز البيانات التي تولدها وظائف MapReduce المستهدفة على بيانات كبيرة جغرافية موزعة، مع توفير وقت إكمال الوظائف المتوقع. لتحقيق هذا الهدف، نصيغ مشكلة تحسين من خلال النظر بشكل مشترك في حركة بيانات الإدخال وتوزيع المهام. علاوة على ذلك، نضمن وقت إكمال الوظائف المتوقع من خلال تطبيق تقنية تحسين القيود الفرص، بحيث يمكن لوظيفة MapReduce أن تنتهي في الوقت المحدد مسبقًا بفرصة عالية. لتقييم أداء اقتراحنا، نقوم بإجراء محاكاة واسعة باستخدام آثار حقيقية تم إنشاؤها بواسطة مجموعة من الاستعلامات على Hive. تظهر النتائج أن اقتراحنا يمكن أن يقلل من حركة المرور بين مراكز البيانات بنسبة 55 في المئة مقارنةً بالمعالجة المركزية من خلال تجميع جميع البيانات في مركز بيانات واحد.