La suite de références HiBench : Caractérisation de l'analyse de données basée sur MapReduce

Le modèle MapReduce devient prominent pour l'analyse de données à grande échelle dans le cloud. Dans cet article, nous présentons la référence, l'évaluation et la caractérisation de Hadoop, une implémentation open-source de MapReduce. Nous introduisons d'abord HiBench, une nouvelle suite de référence pour Hadoop. Elle se compose d'un ensemble de programmes Hadoop, comprenant à la fois des micro-références synthétiques et des applications Hadoop du monde réel. Nous évaluons et caractérisons ensuite le cadre Hadoop en utilisant HiBench, en termes de vitesse (c'est-à-dire le temps d'exécution des tâches), de débit (c'est-à-dire le nombre de tâches terminées par minute), de bande passante HDFS, et d'utilisations des ressources système (par exemple, CPU, mémoire et I/O), ainsi que des modèles d'accès aux données.