Dhalion

En los últimos años, ha habido una explosión de necesidades de análisis en tiempo real a gran escala y se han desarrollado una gran cantidad de sistemas de transmisión para apoyar tales aplicaciones. Estos sistemas son capaces de continuar el procesamiento de flujos incluso cuando enfrentan fallos de hardware y software. Sin embargo, estos sistemas no abordan algunos desafíos cruciales que enfrentan sus operadores: las tareas manuales, que consumen tiempo y son propensas a errores de ajustar varios parámetros de configuración para lograr los objetivos de nivel de servicio (SLO), así como el mantenimiento de los SLO ante variaciones súbitas e impredecibles de carga y la degradación del rendimiento del hardware o software. En este documento, introducimos la noción de sistemas de transmisión autorregulados y las propiedades clave que deben cumplir. Luego presentamos el diseño y la evaluación de Dhalion, un sistema que proporciona capacidades de autorregulación a los sistemas de transmisión subyacentes. Describimos nuestra implementación del marco Dhalion sobre Twitter Heron, así como una serie de políticas que reconfiguran automáticamente las topologías de Heron para cumplir con los SLO de rendimiento, escalando el consumo de recursos hacia arriba y hacia abajo según sea necesario. Evaluamos experimentalmente nuestras políticas de Dhalion en un entorno de nube y demostramos su efectividad. Estamos en el proceso de hacer de código abierto nuestras políticas de Dhalion como parte del proyecto Heron.