トラフィックを考慮した地理分散型ビッグデータ分析と予測可能なジョブ完了時間

ビッグデータ分析は、コスト削減やより良い意思決定における大きな利点から、産業と学術の両方から注目を集めています。さまざまなグローバルサービスの急速な成長に伴い、異なる国や地域に位置する複数のデータセンター（DC）にまたがるビッグデータ分析の必要性が高まっています。それには、地理分散型コンピューティング環境に最適化されたDC間データ処理プラットフォームのサポートが必要です。地理分散型ビッグデータ分析のために最近いくつかの努力がなされているものの、予測可能なジョブ完了時間を保証することはできず、多くのアプリケーションで共有される貴重なリソースであるDC間ネットワーク上で過剰なトラフィックが発生することになります。本論文では、地理分散型ビッグデータを対象としたMapReduceジョブによって生成されるDC間トラフィックを最小限に抑えつつ、予測されたジョブ完了時間を提供する方法を検討します。この目標を達成するため、入力データ移動とタスク配置を共同で考慮した最適化問題を定式化します。さらに、機会制約最適化技術を適用することで予測可能なジョブ完了時間を保証し、高い確率で定義されたジョブ完了時間内にMapReduceジョブが完了できるようにします。我々の提案の性能を評価するために、Hive上のクエリセットによって生成された実際のトレースを使用して広範なシミュレーションを実施しました。結果は、我々の提案が、すべてのデータを単一のデータセンターに集約する集中処理と比較して、55パーセントのDC間トラフィックを削減できることを示しています。