Sobre a (in)eficiência energética dos clusters Hadoop

Frameworks de processamento distribuído, como o Hadoop do Yahoo! e o MapReduce do Google, têm sido bem-sucedidos em aproveitar os amplos recursos de data centers para análise de dados em larga escala. No entanto, seu efeito na eficiência energética dos data centers não foi analisado. Além disso, o componente de sistema de arquivos desses frameworks efetivamente impede a redução de escala dos clusters que implementam esses frameworks (ou seja, operar com capacidade reduzida). Este artigo apresenta nosso trabalho inicial na modificação do Hadoop para permitir a redução de escala de clusters operacionais. Descobrimos que rodar clusters Hadoop em configurações fracionárias pode economizar entre 9% e 50% do consumo de energia, e que há um trade-off entre desempenho e consumo de energia. Também delineamos pesquisas adicionais sobre a eficiência energética desses frameworks.