Gemeinsame Planung der Verarbeitungs- und Shuffle-Phasen in MapReduce-Systemen

MapReduce hat sich als wichtiges Paradigma zur Verarbeitung von Daten in großen Rechenzentren etabliert. MapReduce ist ein dreiphasiger Algorithmus, der aus den Phasen Map, Shuffle und Reduce besteht. Aufgrund seiner weitreichenden Einführung gab es mehrere aktuelle Veröffentlichungen, die praktische Ansätze zur Verbesserung der Leistung von MapReduce-Systemen umreißen. All diese Bemühungen konzentrieren sich auf eine der drei Phasen, um Leistungsverbesserungen zu erzielen. In diesem Papier betrachten wir das Problem der gemeinsamen Planung aller drei Phasen des MapReduce-Prozesses, um die theoretische Komplexität der gemeinsamen Planung zu verstehen und praktische Heuristiken für die Planung der Aufgaben zu entwickeln. Wir geben garantierte Approximationsalgorithmen an und umreißen mehrere Heuristiken, um das Problem der gemeinsamen Planung zu lösen.