AccEPT: Un esquema de aceleración para acelerar el entrenamiento paralelo en tubería en el borde

Generalmente, no es factible ajustar y entrenar un modelo completo de red neuronal profunda (DNN) grande utilizando un solo dispositivo en el borde debido a los recursos limitados. Para facilitar aplicaciones inteligentes a través de dispositivos en el borde, los investigadores han propuesto dividir un modelo grande en varios sub-modelos y desplegar cada uno de ellos en un dispositivo diferente para entrenar colaborativamente un modelo DNN. Sin embargo, la sobrecarga de comunicación provocada por la gran cantidad de datos transmitidos de un dispositivo a otro durante el entrenamiento, así como el punto de partición subóptimo debido a la predicción de latencia de cálculo inexacta en cada dispositivo en el borde, pueden ralentizar significativamente el entrenamiento. En este artículo, proponemos AccEPT, un esquema de aceleración para acelerar el entrenamiento colaborativo paralelo en tubería en el borde. En particular, proponemos un predictor de latencia adaptativo ligero para estimar con precisión la latencia de cálculo de cada capa en diferentes dispositivos, que también se adapta a dispositivos no vistos mediante aprendizaje continuo. Por lo tanto, el predictor de latencia propuesto conduce a una mejor partición del modelo que equilibra las cargas de cálculo entre los dispositivos participantes. Además, proponemos un esquema de compresión de datos eficiente a nivel de bit para comprimir los datos que se transmitirán entre dispositivos durante el entrenamiento. Nuestros resultados numéricos demuestran que nuestro enfoque de aceleración propuesto es capaz de acelerar significativamente el entrenamiento paralelo en tubería en el borde hasta 3 veces más rápido en los entornos experimentales considerados.