추론 단계를 종합적으로 평가하기 위한 다중 홉 QA 데이터셋 구축

다중 홉 질문 응답(QA) 데이터셋은 모델이 주어진 질문에 답하기 위해 여러 개의 단락을 읽도록 요구함으로써 추론 및 추론 능력을 테스트하는 것을 목표로 합니다. 그러나 현재 데이터셋은 질문에서 답변으로의 추론 과정에 대한 완전한 설명을 제공하지 않습니다. 또한, 이전 연구들은 기존의 다중 홉 데이터셋에 있는 많은 예제가 질문에 답하기 위해 다중 홉 추론을 요구하지 않는다는 것을 밝혔습니다. 본 연구에서는 구조화된 데이터와 비구조화된 데이터를 사용하는 새로운 다중 홉 QA 데이터셋인 2WikiMultiHopQA를 제시합니다. 우리의 데이터셋에서는 다중 홉 질문에 대한 추론 경로를 포함하는 증거 정보를 소개합니다. 증거 정보는 두 가지 이점을 가지고 있습니다: (i) 예측에 대한 포괄적인 설명을 제공하고 (ii) 모델의 추론 능력을 평가합니다. 우리는 다중 홉 단계와 질문의 질을 보장하는 질문-답변 쌍을 생성할 때 신중하게 파이프라인과 템플릿 세트를 설계합니다. 또한 우리는 위키데이터의 구조화된 형식을 활용하고 논리 규칙을 사용하여 자연스러운 질문을 생성하지만 여전히 다중 홉 추론을 요구하는 질문을 만듭니다. 실험을 통해 우리는 우리의 데이터셋이 다중 홉 모델에 도전적이며 다중 홉 추론이 요구된다는 것을 증명합니다.