Armazenamento computacional: uma plataforma eficiente e escalável para aplicações de big data e HPC

Resumo Na era das aplicações de big data, a demanda por centros de dados mais sofisticados e mecanismos de processamento de dados de alto desempenho está aumentando drasticamente. Os dados são originalmente armazenados em sistemas de armazenamento. Para processar os dados, os servidores de aplicação precisam buscá-los de dispositivos de armazenamento, o que impõe o custo de mover os dados para o sistema. Este custo tem uma relação direta com a distância dos motores de processamento em relação aos dados. Essa é a principal motivação para o surgimento de plataformas de processamento distribuído, como Hadoop, que movem o processamento mais próximo dos dados. Dispositivos de armazenamento computacional (CSDs) levam o paradigma de "mover o processamento para os dados" a seus limites extremos, implementando motores de processamento embarcados dentro dos dispositivos de armazenamento para processar os dados. Neste artigo, apresentamos o Catalina, uma plataforma de armazenamento computacional eficiente e flexível, que fornece um ambiente contínuo para processar dados no local. Catalina é o primeiro CSD equipado com um processador de aplicação dedicado que roda um sistema operacional completo que oferece acesso a dados em nível de sistema de arquivos para as aplicações. Assim, um amplo espectro de aplicações pode ser adaptado para rodar em CSDs Catalina. Devido a essas características únicas, até onde sabemos, o CSD Catalina é a única plataforma de processamento dentro do armazenamento que pode ser implantada de forma contínua em clusters para executar aplicações distribuídas, como Hadoop MapReduce e aplicações HPC, no local, sem quaisquer modificações na estrutura de processamento distribuído subjacente. Para a prova de conceito, construímos um protótipo funcional completo do Catalina e uma plataforma equipada com CSD, utilizando 16 CSDs Catalina para executar benchmarks de Intel HiBench Hadoop e HPC, a fim de investigar os benefícios de implantar CSDs Catalina em ambientes de processamento distribuído. Os resultados experimentais mostram até 2,2× de melhoria no desempenho e 4,3× de redução no consumo de energia, respectivamente, para a execução de benchmarks do Hadoop MapReduce. Além disso, graças aos motores Neon SIMD, o desempenho e a eficiência energética dos algoritmos DFT são melhorados em até 5,4× e 8,9×, respectivamente.