Key points are not available for this paper at this time.
تسهّل أنظمة MapReduce وغيرها بشكل كبير مهمة كتابة كود موازٍ للبيانات. ومع ذلك، تتطلب العديد من الحسابات في العالم الحقيقي مجموعة من MapReduces، ويمكن أن يكون برمجة وإدارة مثل هذه المجموعات صعبًا. نحن نقدم FlumeJava، مكتبة جافا تجعل من السهل تطوير واختبار وتشغيل خطوط أنابيب فعالة لمعالجة البيانات بصورة متوازية. تتمثل جوهر مكتبة FlumeJava في عدد من الفئات التي تمثل مجموعات متوازية غير قابلة للتغيير، تدعم كل منها عددًا معتدلاً من العمليات لمعالجتها بشكل متوازٍ. تقدم المجموعات المتوازية وعملياتها تجريدًا عالي المستوى وبسيطًا وموحدًا فوق تمثيلات البيانات المختلفة واستراتيجيات التنفيذ. لتمكين العمليات المتوازية من التشغيل بكفاءة، تؤجل FlumeJava تقييمها، وبدلاً من ذلك، تقوم داخليًا ببناء مخطط تدفق تنفيذ البيانات. عندما تكون النتائج النهائية للعمليات المتوازية مطلوبة في النهاية، تقوم FlumeJava أولاً بتحسين مخطط التنفيذ، ثم تنفذ العمليات المحسّنة على الخصائص الأساسية المناسبة (مثل MapReduces). إن مجموعة التجريدات عالية المستوى للبيانات والحساب المتوازي، والتقييم المؤجل والتحسين، والخصائص المتوازية القابلة للاستخدام تخلق نظامًا سهل الاستخدام يقترب من كفاءة خطوط الأنابيب المحسّنة يدويًا. يتم استخدام FlumeJava بنشاط من قبل مئات من مطوري الخطوط داخل Google.
درست Chambers وآخرون هذا السؤال (Sat).