QASC: 문장 구성에 의한 질문 답변을 위한 데이터셋

여러 텍스트 조각에서 지식을 구성하는 것은 다중 홉 질문 답변에서 중요한 도전 과제입니다. 우리는 대규모 말뭉치에서 사실을 검색하고 이를 구성하여 다중 선택 질문에 답변해야 하는 다중 홉 추론 데이터셋인 질문 답변을 문장을 통해 구성하기(QASC)를 제시합니다. QASC는 두 가지 바람직한 속성을 제공하는 최초의 데이터셋입니다: (a) 조합할 사실이 대규모 말뭉치에 주석이 달려 있으며, (b) 이러한 사실로의 분해가 질문 자체에서 명백하지 않습니다. 후자는 시스템이 잠재적인 분해를 발견하기 위해 새로운 개념이나 관계를 도입해야 하므로 검색을 어렵게 만듭니다. 또한, 추론 모델은 일반적인 상식 추론을 사용하여 이러한 검색된 사실의 유효한 구성을 식별하는 방법을 배워야 합니다. 이러한 도전 과제 해결을 돕기 위해 지원 사실과 그 조합에 대한 주석을 제공합니다. 이러한 주석에 의해 안내되어, 우리는 검색 문제를 완화하기 위한 두 단계 접근 방식을 제시합니다. 우리는 다른 다중 선택 데이터셋을 추가 교육 데이터로 활용하여 추론 모델을 강화합니다. 우리가 제안하는 접근 방식은 현재 최첨단 언어 모델보다 11% (절대적) 향상됩니다. 그러나 추론과 검색 문제는 여전히 해결되지 않으며, 이 모델은 여전히 인간 성능에 비해 20% 뒤쳐져 있습니다.