AdaGossip: Tamaño de paso de consenso adaptativo para el aprendizaje profundo descentralizado con compresión de comunicación

El aprendizaje descentralizado es crucial para apoyar el aprendizaje en dispositivos sobre grandes conjuntos de datos distribuidos, eliminando la necesidad de un servidor central. Sin embargo, la sobrecarga de comunicación sigue siendo un importante cuello de botella para la realización práctica de tales configuraciones descentralizadas. Para abordar este problema, se han propuesto en la literatura varios algoritmos para el entrenamiento descentralizado con comunicación comprimida. La mayoría de estos algoritmos introducen un hiperparámetro adicional conocido como tamaño de paso de consenso, que se ajusta en función de la relación de compresión al inicio del entrenamiento. En este trabajo, proponemos AdaGossip, una técnica novedosa que ajusta adaptativamente el tamaño de paso de consenso en función de las diferencias de modelo comprimido entre agentes vecinos. Demostramos la efectividad del método propuesto a través de un conjunto exhaustivo de experimentos en varios conjuntos de datos de Visión por Computadora (CIFAR-10, CIFAR-100, Fashion MNIST, Imagenette e ImageNet), arquitecturas de modelos y topologías de red. Nuestros experimentos muestran que el método propuesto logra un rendimiento superior (0-2\% de mejora en la precisión de prueba) en comparación con el método actual de vanguardia para el aprendizaje descentralizado con compresión de comunicación.