HGNAS: Búsqueda de Arquitectura de Redes Neuronales de Grafos Consciente del Hardware para Dispositivos Periféricos

Las Redes Neuronales de Grafos (GNNs) están ganando popularidad para tareas de aprendizaje basadas en grafos, como el procesamiento de nubes de puntos, debido a su rendimiento de vanguardia (SOTA). Sin embargo, la comunidad investigadora se ha centrado principalmente en mejorar la expresividad de los modelos, sin considerar cómo diseñar modelos GNN eficientes para escenarios periféricos con requisitos de tiempo real y recursos limitados. El examen de los modelos GNN existentes revela una ejecución variada a través de las plataformas y problemas frecuentes de Fuera de Memoria (OOM), destacando la necesidad de un diseño GNN consciente del hardware. Para abordar este desafío, este trabajo propone un nuevo marco de búsqueda de arquitectura de redes neuronales de grafos consciente del hardware, adaptado para dispositivos periféricos con restricciones de recursos, a saber, HGNAS. Para lograr la conciencia del hardware, HGNAS integra un predictor de rendimiento de hardware GNN eficiente que evalúa la latencia y el uso máximo de memoria de las GNN en milisegundos. Mientras tanto, estudiamos el uso de memoria de GNN durante la inferencia y ofrecemos un método de estimación de memoria máxima, mejorando la robustez de las evaluaciones de arquitectura cuando se combina con los resultados del predictor. Además, HGNAS construye un espacio de diseño detallado para permitir la exploración de arquitecturas de rendimiento extremo al desacoplar el paradigma GNN. Además, se aprovecha la estrategia de búsqueda jerárquica en múltiples etapas para facilitar la navegación de grandes candidatos, lo que puede reducir el tiempo de búsqueda único a unas pocas horas de GPU. Hasta donde sabemos, HGNAS es el primer marco de diseño GNN automatizado para dispositivos periféricos, y también el primer trabajo en lograr la conciencia del hardware de las GNN a través de diferentes plataformas. Experimentos extensos en varias aplicaciones y dispositivos periféricos han demostrado la superioridad de HGNAS. Puede lograr hasta 10.6 veces más rapidez y una reducción del 82.5 % en la memoria máxima con una pérdida de precisión despreciable en comparación con DGCNN en ModelNet40.