Detección automática de anomalías en la nube mediante aprendizaje estadístico

El rendimiento y la alta disponibilidad se han convertido en impulsores cada vez más importantes, entre otros factores, para la retención de usuarios en el contexto de servicios web como redes sociales y búsqueda web. Los factores exógenos y/o endógenos a menudo dan lugar a anomalías, lo que hace que sea muy desafiante mantener alta disponibilidad, al mismo tiempo que se entrega un alto rendimiento. Dado que las arquitecturas orientadas a servicios (SOA) típicamente tienen un gran número de servicios, cada uno con un gran conjunto de métricas, la detección automática de anomalías no es trivial. Aunque existe un amplio cuerpo de investigación previa en detección de anomalías, las técnicas existentes no son aplicables en el contexto de los datos de redes sociales, debido a los componentes estacionales y de tendencia inherentes en los datos de series temporales. Con este fin, desarrollamos dos nuevas técnicas estadísticas para detectar automáticamente anomalías en datos de infraestructura en la nube. Específicamente, las técnicas emplean aprendizaje estadístico para detectar anomalías en métricas tanto de aplicaciones como de sistemas. Se utiliza la descomposición estacional para filtrar los componentes de tendencia y estacionales de la serie temporal, seguida del uso de métricas estadísticas robustas: mediana y desviación absoluta mediana (MAD) - para detectar con precisión anomalías, incluso en presencia de picos estacionales. Demostramos la eficacia de las técnicas propuestas desde tres perspectivas diferentes, a saber, planificación de capacidad, comportamiento del usuario y aprendizaje supervisado. En particular, utilizamos datos de producción para la evaluación y reportamos precisión, recuperación y medida F en cada caso.