LangTopo: Alineando Descripciones de Lenguaje de Gráficas con Modelado Topológico Tokenizado

Recientemente, los modelos de lenguaje grandes (LLMs) han sido ampliamente investigados en el campo del aprendizaje automático de gráficas debido a sus notables habilidades en la comprensión y aprendizaje del lenguaje. Sin embargo, la significativa brecha entre las tareas de lenguaje natural y el modelado de estructuras topológicas presenta un desafío no despreciable. Específicamente, dado que las descripciones en lenguaje natural no son suficientes para que los LLMs comprendan y procesen datos estructurados en gráficas, los LLMs ajustados realizan incluso peor que algunos modelos GNN tradicionales en tareas de gráficas, careciendo de capacidades inherentes de modelado para estructuras gráficas. La investigación existente enfatiza en exceso la comprensión de información semántica por parte de los LLMs capturada por modelos externos, mientras que explora de manera inadecuada el modelado de la estructura topológica de las gráficas, pasando por alto las verdaderas capacidades que los LLMs carecen. En consecuencia, en este trabajo, introducimos un nuevo marco, LangTopo, que alinea el modelado de estructuras gráficas con la comprensión del lenguaje natural a nivel de tokens. LangTopo cuantifica las capacidades de modelado de estructuras gráficas de GNNs y LLMs construyendo un libro de códigos para la modalidad gráfica y realiza maximización de consistencia. Este proceso alinea la descripción textual de LLMs con el modelado topológico de GNNs, permitiendo que LLM aprenda la capacidad de GNN para capturar estructuras gráficas, habilitando a LLM para manejar datos estructurados en gráficas de manera independiente. Demostramos la efectividad de nuestro método propuesto en múltiples conjuntos de datos.