Inferencia Colaborativa para Redes Neuronales Profundas en Entornos Periféricos

Los avances recientes en redes neuronales profundas (DNNs) han mejorado significativamente la precisión y universalidad de diversas aplicaciones inteligentes, a expensas de aumentar el tamaño del modelo y la demanda computacional. Dado que los recursos de los dispositivos finales son a menudo demasiado limitados para desplegar un modelo DNN completo, descargar tareas de inferencia DNN a servidores en la nube es un enfoque común para satisfacer esta necesidad. Sin embargo, debido al ancho de banda limitado de la WAN y la larga distancia entre los dispositivos finales y los servidores en la nube, este enfoque puede provocar una latencia significativa en la transmisión de datos. Por lo tanto, la inferencia colaborativa entre dispositivos y la periferia ha emergido como un paradigma prometedor para acelerar la ejecución de tareas de inferencia DNN donde los modelos DNN se dividen para ser ejecutados secuencialmente tanto en dispositivos finales como en servidores de borde. No obstante, la inferencia colaborativa en entornos de borde heterogéneos con múltiples servidores de borde, dispositivos finales y tareas DNN ha sido pasada por alto en investigaciones anteriores. Para llenar este vacío, investigamos el problema de optimización de la inferencia colaborativa en un sistema heterogéneo y proponemos un esquema CIS, es decir, esquema de inferencia colaborativa, que combina conjuntamente la partición de DNN, la descarga de tareas y la programación para reducir la latencia promedio ponderada de inferencia. CIS descompone el problema en tres partes para lograr la latencia promedio ponderada de inferencia óptima. Además, construimos un prototipo que implementa CIS y realiza extensos experimentos para demostrar la efectividad y eficiencia del esquema. Los experimentos muestran que CIS reduce entre un 29% y un 71% la latencia promedio ponderada de inferencia en comparación con los otros cuatro esquemas existentes.