Key points are not available for this paper at this time.
지식 그래프(Knowledge Graphs, KGs)와 질의응답(Question Answering, QA) 시스템의 통합은 인공지능(Artificial Intelligence, AI) 분야의 환경을 변화시키고 있습니다. 이러한 기술들의 결합을 통해 자연어로 된 질문을 데이터베이스 쿼리로 변환하기 위한 새로운 기능들이 제공될 수 있습니다. 이 영역에서 많은 연구가 나타나고 있음에도 불구하고, 텍스트를 Cypher 쿼리로 변환하는 작업에 대해서는 그렇지 않으며, 여기서 Cypher는 (예: Neo4j 기술 기반의) KG 구축에 사용되는 지배적인 쿼리 언어 중 하나입니다. 이러한 맥락에서, 본 논문은 오픈소스 LLM 평가에 초점을 맞춰 Text-to-Cypher 변환을 지원하는 거대 언어 모델(Large Language Models, LLMs)의 효율성을 체계적으로 평가하기 위한 강력하고 효율적인 프레임워크를 제공합니다. 이 프레임워크는 연구진이 개발한 CyVer라는 오픈소스 소프트웨어 라이브러리가 제공하는 지표와 검증기(validator)를 활용합니다. 또한 본 연구는 KG에 대한 추론 깊이가 필요한 다양한 복잡도의 질문에 대한 LLM의 성능 및 스키마 인식 쿼리 생성에 있어 KG의 다양한 스키마 표현이 미치는 영향을 평가합니다. 지속가능발전목표(Sustainable Development Goals, SDGs)와 관련된 정보를 추적하기 위한 데이터를 호스팅하는 대규모의 복잡한 스키마를 가진 KG에 상세 프레임워크를 적용한 사례 연구를 설명합니다. 실험 결과는 제안된 프레임워크의 유효성을 입증하고, 질문의 의미론적 이해와 유효한 Cypher 쿼리 생성에 있어 오픈소스 모델 크기의 중요성을 강조하며, 복잡한 Cypher 로직을 요구하는 질문의 경우 정확한 쿼리를 생성하는 데 있어 직면하는 과제를 부각합니다.
Mandilara et al. (Wed,)은 이 문제를 연구했습니다.