PIGMMaLIOn: un Modelo de Mezcla Gaussiana Incremental Parcial con un Diseño de Bajo I/O

Extraer información significativa de grandes volúmenes de datos producidos en dispositivos embebidos depende de técnicas de aprendizaje automático. Tradicionalmente, los datos generados se envían para ser analizados en servidores dedicados con recursos computacionales significativos. Sin embargo, los costos energéticos y los problemas de seguridad han empujado algunas tareas de aprendizaje automático a dispositivos embebidos a pesar de sus limitaciones de recursos. Este trabajo se centra en el Modelo de Mezcla Gaussiana (GMM), un modelo de aprendizaje automático utilizado para estimación de densidad y análisis de clúster en identificación de hablantes, atención médica, redes, etc. El algoritmo de Expectativa-Maximización (EM) se utiliza comúnmente para entrenar GMMs. Uno de los principales desafíos que enfrenta este algoritmo cuando se ejecuta en sistemas embebidos son las limitaciones de memoria. De hecho, el EM es un algoritmo iterativo que requiere varias exploraciones del conjunto de datos. Observamos que cuando el conjunto de datos no puede residir completamente en la memoria principal, su ejecución se ralentiza drásticamente debido a los movimientos de I/O. En este documento, presentamos una optimización del algoritmo EM para GMMs que reduce el número de operaciones de I/O gracias a dos contribuciones principales: (1) una estrategia de dividir y conquistar que divide el conjunto de datos en fragmentos, aprende el GMM por separado en cada fragmento y combina los resultados de manera incremental. Al hacer esto, evitamos que los datos se intercambien varias veces durante el proceso de aprendizaje. (2) restringir el entrenamiento del GMM a un subconjunto de datos cuyo volumen se infiere en línea utilizando propiedades de los datos, mientras se produce una buena precisión. En promedio, nuestros resultados muestran una mejora del 63% en el tiempo de ejecución total con una precisión comparable.