LLM 프롬프트에서 두 단계 온톨로지 경로 패턴 방법을 사용하여 CIDOC-CRM에 대한 SPARQL 쿼리 생성

이 기사는 문화 지식 그래프(KG)에 대해 ISO 표준 온톨로지 CIDOC-CRM에 따라 표현된 자연 질문에 답하기 위해 SPARQL 쿼리를 생성하는 대규모 언어 모델(LLM)의 능력을 활용하는 작업에 초점을 맞춥니다. CIDOC-CRM은 사건 기반 모델이므로 보통 질문에 답하기 위해 긴 경로를 따라야 하며, 따라서 LLM이 올바른 SPARQL 쿼리를 생성하도록 돕기 위한 프롬프트를 구성하는 것이 도전 과제가 됩니다. 우리는 구성 가능한 경로 반경(또는 길이)의 온톨로지 경로 패턴 생성을 기반으로 한 방법을 제안하고 비교 평가합니다. 다음으로, 우리는 예술 작품을 설명하는 두 개의 실제 KG에 대한 100개의 자연 질문과 해당 SPARQL 쿼리를 포함하는 새로운 전용 벤치마크를 구축합니다. 마지막으로, ChatGPT-3.5를 사용하여 벤치마크에 대한 효과성과 효율성에 대한 비교 결과를 제시합니다. 가장 효과적인 방법은 \ (r 4\)의 가장 적절한 경로 패턴을 예측하고 사용하는 두 단계 프로세스를 따릅니다. 이 방법은 KG의 속성과 클래스 목록만 포함된 프롬프트를 가진 기준 방법보다 3.5 \ (\) 더 높은 정확도를 달성합니다 (0.66 대 0.19). 벤치마크: https://github.com/mountanton/CIDOC-QA-using-LLMs