SwapAdvisor

Se sabe que las redes neuronales más profundas y amplias pueden lograr una mejor precisión. Pero es difícil continuar la tendencia de aumentar el tamaño del modelo debido a la memoria limitada de la GPU. Una solución prometedora es apoyar el intercambio entre la memoria de la GPU y la de la CPU. Sin embargo, el trabajo existente sobre el intercambio solo maneja ciertos modelos y no logra un rendimiento satisfactorio. El cálculo del aprendizaje profundo se expresa comúnmente como un gráfico de flujo de datos que se puede analizar para mejorar el intercambio. Proponemos SwapAdvisor, que realiza una optimización conjunta a lo largo de 3 dimensiones basadas en un gráfico de flujo de datos dado: programación de operadores, asignación de memoria y decisiones de intercambio. SwapAdvisor explora el vasto espacio de búsqueda utilizando un algoritmo genético diseñado a medida. Las evaluaciones utilizando una variedad de modelos grandes muestran que SwapAdvisor puede entrenar modelos hasta 12 veces el límite de memoria de la GPU, logrando entre el 53% y el 99% del rendimiento de una línea base hipotética con memoria GPU infinita.