MapReduceパフォーマンス評価のためのワークロードスイート利用の正当性

MapReduceシステムは、関与するデータと計算の増加、異種性、統合のために巨大な課題に直面しています。大規模MapReduceクラスターのプロビジョニング、構成、管理には、既存のMapReduceベンチマークでは不十分な現実的でワークロード特有のパフォーマンスインサイトが必要です。本論文では、MapReduceパフォーマンス評価のためにベンチマークを超える必要性について議論します。2つのプロダクションMapReduceトレースを分析・比較し、MapReduceワークロードを説明するための語彙を発展させます。既存のベンチマークがトレースで観察される豊かなワークロード特性を捉えられていないことを示し、代表的なワークロードを合成・実行するためのフレームワークを提案します。現実的なワークロードを使用したパフォーマンス評価がクラスターオペレーターにワークロード特有のリソースボトルネックを特定する新たな方法を提供することを示します。利用可能になれば、ワークロードスイートはクラスターオペレーターが現在は想像できない以前は困難だった作業を達成できるようにし、MapReduceシステムの設計と管理を支援する有用なツールとなると期待しています。