Equilibrando la granularidad del seguimiento y el paralelismo en sistemas de muchas tareas: El enfoque Horizons

Resumen Reducir la necesidad de que los usuarios gestionen manualmente los detalles del trabajo y la distribución de datos es un objetivo importante de los sistemas de ejecución de muchas tareas de alto nivel. Para plataformas de memoria distribuida, esto significa que el sistema de ejecución debe hacer un seguimiento tanto de las dependencias de tareas de alta granularidad como de la metainformación sobre la residencia de datos. La cantidad de tal metainformación es proporcional a la granularidad del paralelismo que necesita ser gestionado, introduciendo un compromiso. Un seguimiento más preciso del estado de los datos permite aprovechar más oportunidades para el paralelismo de computación y transferencia, mientras que también introduce más sobrecarga. Como tal, la fidelidad de la información que se está rastreando debe ser gestionada cuidadosamente, idealmente sin introducir latencia, comunicación o una sobrecarga de computación sustancial adicionales. Presentamos el enfoque "Horizons", diseñado para cumplir con estos objetivos. Específicamente, los horizontes permiten la gestión efectiva y eficiente del paralelismo y la coalescencia de la información de seguimiento de alta granularidad anterior, manteniendo una ventana de programación fácilmente configurable con precisión informativa total. Como beneficio adicional, proporcionan puntos de decisión consistentes en todo el clúster sin requerir comunicación entre nodos y limitan efectivamente el tamaño de las estructuras de datos de seguimiento del estado, incluso en presencia de patrones de acceso problemáticos. La evaluación experimental en microbenchmarks y ejecuciones secas demuestra que los horizontes son efectivos para mantener constante la complejidad de programación, mientras que su propia sobrecarga es negligible—por debajo de 10\, s 10 μ s por horizonte al construir un grafo de comandos para 512 GPUs. Además, demostramos el impacto en el rendimiento de los horizontes—así como su baja sobrecarga—en una aplicación del mundo real.