MapReduce: Vereinfachte Datenverarbeitung auf großen Clustern

MapReduce ist ein Programmiermodell und eine damit verbundene Implementierung zur Verarbeitung und Erzeugung großer Datensätze. Benutzer geben eine Map-Funktion an, die ein Schlüssel/Wert-Paar verarbeitet, um eine Menge von Zwischen-Schlüssel/Wert-Paaren zu generieren, sowie eine Reduce-Funktion, die alle Zwischenwerte zusammenführt, die mit demselben Zwischen-Schlüssel verbunden sind. Viele realweltliche Aufgaben lassen sich in diesem Modell ausdrücken, wie im Papier gezeigt. Programme, die in diesem funktionalen Stil geschrieben sind, werden automatisch parallelisiert und auf einem großen Cluster aus handelsüblichen Maschinen ausgeführt. Das Laufzeitsystem kümmert sich um die Details der Partitionierung der Eingabedaten, der Planung der Programmausführung über eine Menge von Maschinen, dem Umgang mit Maschinenfehlern und der Verwaltung der erforderlichen Maschinenkommunikation. Dies ermöglicht Programmierern ohne Erfahrung mit parallelen und verteilten Systemen, die Ressourcen eines großen verteilten Systems problemlos zu nutzen. Unsere Implementierung von MapReduce läuft auf einem großen Cluster aus handelsüblichen Maschinen und ist hoch skalierbar: Eine typische MapReduce-Berechnung verarbeitet viele Terabyte an Daten auf Tausenden von Maschinen. Programmierer finden das System benutzerfreundlich: Hunderte von MapReduce-Programmen wurden implementiert und täglich werden über tausend MapReduce-Jobs auf den Clustern von Google ausgeführt.