AccEPT: Um Esquema de Aceleração para Acelerar o Treinamento Paralelo em Pipeline na Borda

Normalmente, é inviável ajustar e treinar um modelo inteiro grande de rede neural profunda (DNN) usando um único dispositivo de borda devido aos recursos limitados. Para facilitar aplicações inteligentes em dispositivos de borda, pesquisadores propuseram particionar um grande modelo em vários submodelos e implantar cada um deles em um dispositivo de borda diferente para treinar colaborativamente um modelo DNN. No entanto, a sobrecarga de comunicação causada pela grande quantidade de dados transmitidos de um dispositivo para outro durante o treinamento, assim como o ponto de partição subótimo devido à previsão de latência de computação imprecisa em cada dispositivo de borda, pode desacelerar significativamente o treinamento. Neste artigo, propomos o AccEPT, um esquema de aceleração para acelerar o treinamento em paralelo colaborativo de borda. Em particular, propomos um preditor de latência adaptativo leve para estimar com precisão a latência de computação de cada camada em diferentes dispositivos, que também se adapta a dispositivos desconhecidos por meio de aprendizado contínuo. Portanto, o preditor de latência proposto leva a uma melhor partição de modelo, que equilibra as cargas de computação entre os dispositivos participantes. Além disso, propomos um esquema de compressão de dados eficiente em nível de bits para comprimir os dados que serão transmitidos entre os dispositivos durante o treinamento. Nossos resultados numéricos demonstram que nossa abordagem de aceleração proposta é capaz de acelerar significativamente o treinamento paralelo em pipeline na borda em até 3 vezes mais rápido nas configurações experimentais consideradas.