Key points are not available for this paper at this time.
기존의 KG 증강 모델은 주로 지식 그래프(KG)를 모델링하기 위한 정교한 그래프 신경망(GNN)을 설계하는 데 중점을 두고 있습니다. 그러나 이들은 (i) 질문 맥락 표현과 KG 표현 간의 효과적인 융합 및 추론, (ii) 추론 과정에서 노이즈가 많은 KG로부터 관련 노드를 자동으로 선택하는 것을 무시합니다. 본 논문에서는 언어 모델(LM)과 GNN의 공동 추론 및 동적 KG 가지치기 메커니즘을 통해 이러한 한계를 해결하는 새로운 모델 JointLK를 제안합니다. 구체적으로, JointLK는 새로운 밀집 쌍방향 주의 모듈을 통해 LM과 GNN 간의 공동 추론을 수행합니다. 이 모듈에서 각 질문 토큰은 KG 노드에 주의를 기울이고 각 KG 노드는 질문 토큰에 주의를 기울이며, 두 가지 모달 표현은 다단계 상호작용을 통해 상호 융합되고 업데이트됩니다. 이후 동적 가지치기 모듈은 공동 추론에 의해 생성된 주의 가중치를 사용하여 관련 없는 KG 노드를 재귀적으로 가지치기합니다. 우리는 JointLK를 상식QA(CommonsenseQA) 및 오픈북QA(OpenBookQA) 데이터셋에서 평가하며, 기존의 LM 및 LM+KG 모델에 대한 개선 사항과 해석 가능한 추론을 수행할 수 있는 능력을 입증합니다.
Sun et al. (Sat,)는 이 질문을 연구했습니다.