Schnelle und fortlaufende Wissensgraph-Einbettung über inkrementelles LoRA

Die fortlaufende Wissensgraph-Einbettung (CKGE) zielt darauf ab, neues Wissen effizient zu erlernen und gleichzeitig altes Wissen zu bewahren. Dominante Ansätze konzentrieren sich hauptsächlich darauf, katastrophales Vergessen von altem Wissen zu verringern, vernachlässigen jedoch das effiziente Lernen, das für das Aufkommen neuen Wissens erforderlich ist. In realen Szenarien wachsen Wissensgraphen (KGs) kontinuierlich, was eine erhebliche Herausforderung für die effiziente Feinabstimmung von KGE-Modellen darstellt. Um dieses Problem anzugehen, schlagen wir ein schnelles CKGE-Framework vor, das einen inkrementellen Low-Rank-Adapter-Mechanismus integriert, um neues Wissen effizient zu erwerben und gleichzeitig altes Wissen zu bewahren. Insbesondere isoliert \ neues Wissen und weist es bestimmten Schichten basierend auf dem feingliedrigen Einfluss zwischen alten und neuen KGs zu, um katastrophales Vergessen zu mindern. Anschließend entwickelt \ einen effizienten \ Mechanismus, der die spezifischen Schichten in inkrementelle Low-Rank-Adapter mit weniger Trainingsparametern einbettet, um die Feinabstimmung zu beschleunigen. Darüber hinaus führt \ eine adaptive Rangzuweisung ein, die es LoRA ermöglicht, die Bedeutung von Entitäten zu erkennen und ihre Rangskala adaptiv anzupassen. Wir führen Experimente an vier öffentlichen Datensätzen und zwei neuen Datensätzen mit einem größeren Ausgangsmaßstab durch. Die experimentellen Ergebnisse zeigen, dass \ die Trainingszeit um 34\%-49\% reduzieren kann, während sie dennoch eine wettbewerbsfähige Linkvorhersageleistung im Vergleich zu modernen Modellen an vier öffentlichen Datensätzen erreicht (durchschnittlicher MRR-Wert von 21,0\% vs. 21,1\%). Inzwischen spart \ bei zwei neu konstruierten Datensätzen 51\%-68\% der Trainingszeit und verbessert die Linkvorhersageleistung um 1,5\%.