Redes Neuronales Gráficas de Transferencia de Mensajes Convexificadas

Las Redes Neuronales Gráficas (GNNs) se han convertido en métodos prominentes para el aprendizaje de representación gráfica, demostrando sólidos resultados empíricos en diversas tareas de predicción gráfica. En este documento, introducimos las Redes Neuronales Gráficas de Transferencia de Mensajes Convexificadas (CGNNs), un marco novedoso y general que combina el poder de las GNNs de transferencia de mensajes con la trazabilidad de la optimización convexa. Al mapear sus filtros no lineales en un espacio de Hilbert de núcleo reproductivo, las CGNNs transforman el entrenamiento en un problema de optimización convexa, que puede resolverse de manera eficiente y óptima mediante métodos de gradiente proyectado. Esta convexidad permite además que las propiedades estadísticas de las CGNNs sean analizadas de manera precisa y rigurosa. Para CGNNs de dos capas, establecemos garantías de generalización rigurosas, mostrando la convergencia hacia el rendimiento de la GNN óptima. Para escalar a arquitecturas más profundas, adoptamos una estrategia de entrenamiento por capas fundamentada. Experimentos en conjuntos de datos de referencia muestran que las CGNNs superan significativamente el rendimiento de los modelos GNN líderes, logrando entre un 10 y un 40 por ciento más de precisión en la mayoría de los casos, subrayando su promesa como un método poderoso y fundamentado con sólidas bases teóricas. En raras ocasiones donde las mejoras no son cuantitativamente sustanciales, los modelos convexos superan ligeramente o igualan las líneas base, enfatizando su solidez y amplia aplicabilidad. Aunque la sobre-parametrización a menudo se emplea para mejorar el rendimiento en modelos no convexos, mostramos que nuestro marco CGNNs produce modelos convexos superficiales que pueden superar estos modelos tanto en precisión como en eficiencia de recursos.