STAGE: Embeddings de Grafo Atributados por Texto Simplificados Usando LLMs Pré-treinados

Apresentamos Embeddings de Grafo Atributados por Texto Simplificados (STAGE), um método direto, mas eficaz, para melhorar as características dos nós em modelos de Redes Neurais de Grafos (GNN) que codificam Grafos Atributados por Texto (TAGs). Nossa abordagem aproveita Modelos de Linguagem Grande (LLMs) para gerar embeddings para atributos textuais. O STAGE alcança resultados competitivos em vários benchmarks de classificação de nós, mantendo ao mesmo tempo uma simplicidade na implementação em relação às técnicas de estado da arte (SoTA) atuais. Mostramos que a utilização de LLMs pré-treinados como geradores de embeddings fornece características robustas para o treinamento de GNN em conjunto, possibilitando pipelines que são mais simples do que as abordagens atuais de SoTA que exigem várias etapas de treinamento e prompting dispendiosas. Também implementamos GNNs de padrões de difusão na tentativa de tornar esse pipeline escalável para grafos além dos benchmarks acadêmicos.