Generierung von SPARQL-Abfragen über CIDOC-CRM mittels einer Zwei-Stufen-Ontologie-Pfadmuster-Methode in LLM-Eingabeaufforderungen

In diesem Artikel konzentrieren wir uns auf die Aufgabe, die Fähigkeiten von Large Language Models (LLMs) auszunutzen, um SPARQL-Abfragen zur Beantwortung natürlicher Fragen über kulturelle Wissensgraphen (KGs) zu generieren, die gemäß dem ISO-Standardontologie CIDOC-CRM ausgedrückt werden. Da CIDOC-CRM ein ereignisbasierendes Modell ist, müssen wir normalerweise lange Pfade folgen, um eine Frage zu beantworten, wodurch die Herausforderung besteht, wie man die Eingabeaufforderung konstruieren kann, um dem LLM zu helfen, die richtige SPARQL-Abfrage zu erzeugen. Wir schlagen Methoden vor und bewerten diese vergleichend, die auf der Erstellung von Ontologie-Pfadmustern mit einem konfigurierbaren Pfadradius (oder Länge) basieren. Dann konstruieren wir einen neuen speziellen Benchmark, der 100 natürliche Fragen und die entsprechenden SPARQL-Abfragen über zwei reale KGs aus dem kulturellen Bereich umfasst, die Kunstwerke beschreiben. Schließlich präsentieren wir vergleichende Ergebnisse zur Wirksamkeit und Effizienz über den Benchmark unter Verwendung von ChatGPT-3.5. Die effektivste Methode folgt einem Zwei-Stufen-Prozess, der die geeignetsten Pfadmuster von \ (r 4\) vorhersagt und verwendet. Diese Methode erreicht eine um 3.5 \ (\) höhere Genauigkeit als die Basislinie (0.66 gegenüber 0.19), die in der Eingabeaufforderung nur die Liste der Eigenschaften und Klassen des KGs enthält. Benchmark: https://github.com/mountanton/CIDOC-QA-using-LLMs