Key points are not available for this paper at this time.
A computação serverless está ganhando popularidade para cargas de trabalho de serviço de aprendizado de máquina (ML) devido ao seu escalonamento autônomo de recursos, facilidade de uso e modelo de custo baseado no uso. As plataformas serverless existentes funcionam bem para inferência de ML baseada em imagem, onde os pedidos são homogêneos em demandas de serviço. No entanto, os avanços recentes em processamento de linguagem natural não puderam se beneficiar plenamente das plataformas serverless existentes, pois seus pedidos são intrinsecamente heterogêneos. Agrupar pedidos para processamento pode aumentar significativamente a eficiência do serviço de ML, reduzindo os custos monetários, graças ao modelo de precificação por uso adotado pelas plataformas serverless. No entanto, agrupar pedidos heterogêneos de ML leva a uma sobrecarga de computação adicional, pois pequenos pedidos precisam ser "preenchidos" para o mesmo tamanho que grandes pedidos dentro do mesmo lote. Tomar decisões eficazes de agrupamento (ou seja, quais pedidos devem ser agrupados e por quê) não é trivial: a sobrecarga de preenchimento aliada ao escalonamento automático serverless forma um problema complexo de otimização. Para resolver isso, desenvolvemos a Multi-Buffer Serving (MBS), uma estrutura que otimiza o agrupamento de pedidos heterogêneos de serviço de inferência de ML para minimizar seu custo monetário enquanto atende aos seus objetivos de nível de serviço (SLOs). O núcleo da MBS é um estimador de desempenho e custo impulsionado por modelos analíticos potencializados por um otimizador bayesiano. A MBS é prototipada e avaliada na AWS usando cargas de trabalho bursty. Resultados experimentais mostram que a MBS preserva os SLOs enquanto supera o estado da arte em até 8 vezes em termos de economia de custos, minimizando a sobrecarga de preenchimento em até 37 vezes com 3 vezes menos invocações de funções serverless.
Ali et al. (Qua,) estudaram essa questão.