LATEX-GCL: Datenaugmentierung auf Basis von großen Sprachmodellen (LLMs) für das text-attributierte graphenkontrastive Lernen

Graph Contrastive Learning (GCL) ist ein leistungsstarkes Paradigma für das selbstüberwachte graphenbasierte Lernen, das in verschiedenen Anwendungsbereichen Aufmerksamkeit erregt hat. GCL für das Lernen auf Text-Attributierten Graphen (TAGs) wurde jedoch noch nicht erforscht. Konventionelle Augmentierungstechniken wie das Maskieren von Merkmals-Embedding können die textuellen Attribute auf TAGs nicht direkt verarbeiten. Eine naive Strategie zur Anwendung von GCL auf TAGs besteht darin, die textuellen Attribute über ein Sprachmodell in Merkmals-Embeddings zu kodieren und die Embeddings dann dem folgenden GCL-Modul zur Verarbeitung zuzuführen. Eine solche Strategie steht vor drei zentralen Herausforderungen: I) das Versagen, Informationsverlust zu vermeiden, II) semantischer Verlust während der Phase der Texterkodierung und III) implizite Augmentierungsbeschränkungen, die zu unkontrollierbaren und unverständlichen Ergebnissen führen. In diesem Papier schlagen wir ein neuartiges GCL-Rahmenwerk namens LATEX-GCL vor, um große Sprachmodelle (LLMs) zu nutzen, um textuelle Augmentierungen zu erzeugen und die leistungsstarken Fähigkeiten der natürlichen Sprachverarbeitung (NLP) von LLMs zu nutzen, um die zuvor genannten drei Einschränkungen zu beheben und den Weg für die Anwendung von GCL auf TAG-Aufgaben zu ebnen. Umfassende Experimente an vier hochwertigen TAG-Datensätzen zeigen die Überlegenheit der vorgeschlagenen LATEX-GCL-Methode. Der Quellcode und die Datensätze werden veröffentlicht, um die Reproduzierbarkeit zu erleichtern und sind über diesen Link zugänglich: https://anonymous.4open.science/r/LATEX-GCL-0712.