ElastiBench: Evaluación Continua Escalable en Plataformas de FaaS en la Nube

Ejecutar suites de microbenchmark a menudo y temprano en el proceso de desarrollo permite a los desarrolladores identificar problemas de rendimiento en su aplicación. Las suites de microbenchmark de aplicaciones complejas pueden comprender cientos de benchmarks individuales y tomar múltiples horas para evaluar de manera significativa, lo que hace que ejecutar esos benchmarks como parte de los pipelines de CI/CD sea inviable. En este documento, reducimos el tiempo total de ejecución de las suites de microbenchmark aprovechando la masiva escalabilidad y elasticidad de las plataformas de FaaS (Function-as-a-Service). Si bien el uso de FaaS permite a los usuarios escalar rápidamente hasta miles de instancias de funciones paralelas para acelerar el microbenchmarking, la variación en el rendimiento y el bajo control sobre los recursos informáticos subyacentes complican el benchmarking confiable. Demostramos una arquitectura para ejecutar suites de microbenchmark en plataformas de FaaS en la nube y la evaluamos en cambios de código de una base de datos de series temporales de código abierto. Nuestra evaluación muestra que nuestro prototipo puede producir resultados confiables (~95% de los cambios de rendimiento detectados con precisión) en un cuarto del tiempo (<=15 min frente a ~4 h) y a un costo más bajo (0.49 frente a ~1.18) en comparación con las máquinas virtuales en la nube.