Usando Funções em Nuvem como Acelerador para Análises de Dados Elásticas

Serviços de funções em nuvem (CF), como AWS Lambda, foram aplicados como a nova infraestrutura de computação na implementação de motores de consulta analíticos. Para cargas de trabalho esporádicas e intermitentes, o motor de consulta baseado em CF é mais elástico do que os motores de consulta tradicionais que rodam em servidores, ou seja, máquinas virtuais (VMs), e pode fornecer uma relação de desempenho/preço mais alta. No entanto, ainda é controverso se os serviços de CF são adequados para cargas de trabalho analíticas gerais, em relação às limitações de CFs em armazenamento, rede e vida útil, bem como aos preços muito mais altos das unidades de recursos em comparação com VMs. Neste artigo, apresentamos primeiro avaliações de micro-benchmarks das características de CF e VM. Revelamos que, para processamento de consultas, embora CF seja mais elástico do que VM, ele é menos escalável e é mais caro para cargas de trabalho contínuas. Em seguida, para obter o melhor dos dois mundos, propomos o Pixels-Turbo - um motor de consulta híbrido que processa consultas em um cluster de VM escalável por padrão e invoca CFs para acelerar o processamento de picos de carga de trabalho imprevisíveis. No motor de consulta, propomos várias otimizações para melhorar o desempenho e a escalabilidade dos operadores baseados em CF e um otimizador baseado em custo para selecionar o algoritmo e o paralelismo apropriados para o plano de consulta físico. Avaliações no TPC-H e em cargas de trabalho do mundo real mostram que nosso motor de consulta tem uma relação de desempenho/preço de 1 a 2 ordens de magnitude maior do que os motores de consulta sem servidor de última geração para cargas de trabalho sustentadas, sem comprometer a elasticidade para picos de carga.