HiTuner: Hierarchisches semantisches Fusionsmodell Feinabstimmung auf text-attributierten Graphen

Text-attributierte Graphen (TAGs) sind entscheidend für die Modellierung von Entitätsbeziehungen in verschiedenen Bereichen. Graphneuronale Netzwerke sind zu einem Grundpfeiler für die Verarbeitung von Graphstrukturen geworden, während die Integration von Textattributen eine herausragende Forschungsrichtung bleibt. Die Entwicklung großer Sprachmodelle (LLMs) bietet neue Möglichkeiten zur Weiterentwicklung der Textcodierung in TAGs. Allerdings stehen LLMs in spezialisierten Bereichen aufgrund ihres begrenzten aufgabenspezifischen Wissens vor Herausforderungen, und deren Feinabstimmung für spezifische Aufgaben erfordert erhebliche Ressourcen. Um mit den oben genannten Herausforderungen umzugehen, schlagen wir HiTuner vor, ein neuartiges Framework, das feinabgestimmte vortrainierte Sprachmodelle (PLMs) mit Fachwissen als Tuner nutzt, um die hierarchisierten kontextualisierten Darstellungen von LLMs zur Modellierung von TAGs zu verbessern. Insbesondere wählen wir zunächst strategisch hierarchische versteckte Zustände von LLM aus, um eine Menge unterschiedlicher und komplementärer Beschreibungen als Eingabe für den spärlichen Projektionsoperator zu bilden. Gleichzeitig wird ein hybrides Repräsentationslernen entwickelt, um das breite linguistische Verständnis von LLMs mit den aufgabenspezifischen Erkenntnissen der feinabgestimmten PLMs zu verbinden. Schließlich nutzt HiTuner ein Vertrauensnetzwerk, um die semantisch erweiterten Darstellungen adaptiv zu fusionieren. Empirische Ergebnisse über Benchmark-Datensätze in verschiedenen Bereichen validieren die Effektivität des vorgeschlagenen Frameworks. Unser Code ist verfügbar unter: https://github.com/ZihanFang11/HiTuner