MapReduce: 大規模クラスタ上のデータ処理の簡略化

MapReduceは、大規模データセットの処理と生成のためのプログラミングモデルおよび関連する実装です。ユーザーは、キー/値ペアを処理して中間キー/値ペアのセットを生成するマップ関数と、同じ中間キーに関連付けられたすべての中間値を統合するリデュース関数を指定します。多くの実世界のタスクは、このモデルで表現可能であることが、この論文で示されています。 この関数型スタイルで書かれたプログラムは、自動的に並列化され、一般的なマシンの大規模クラスタ上で実行されます。ランタイムシステムは、入力データのパーティショニング、プログラムの実行のスケジューリング、マシンの障害処理、必要なマシン間通信の管理などの詳細を処理します。これにより、並列および分散システムの経験がないプログラマーでも、大規模分散システムのリソースを簡単に利用できるようになります。 私たちのMapReduceの実装は、一般的なマシンの大規模クラスタ上で動作し、高いスケーラビリティを持っています：典型的なMapReduce計算は、何千台ものマシンで数テラバイトのデータを処理します。プログラマーは、このシステムを使いやすいと感じており、数百のMapReduceプログラムが実装されており、毎日Googleのクラスターで1000件以上のMapReduceジョブが実行されています。