의미 조각을 통한 자연어 추론 모델 탐구

최첨단 언어 이해 모델이 이미 불리언 협동, 양적 분석, 조건문, 비교 및 단조성 추론(즉, 문장 맥락에서 단어 대체에 관한 추론)과 같은 능력을 가지고 있거나 쉽게 배울 수 있는지 여부는 잘 알려져 있지 않습니다. 이러한 현상은 자연어 추론(NLI)과 관련이 있으며 기본적인 언어 이해를 넘어서지만, 기존 NLI 벤치마크에서 얼마나 잘 포착되고 모델에서 효과적으로 학습되는지는 불확실합니다. 이를 조사하기 위해 우리는 각각 다른 의미 현상을 타겟으로 하는 체계적으로 생성된 데이터셋인 의미 조각을 제안하여 이러한 언어 모델의 능력을 탐구하고 효율적으로 향상시킬 수 있습니다. 이러한 도전 데이터셋을 생성하는 접근 방식은 목표로 하는 언어 현상의 의미적 다양성과 복잡성을 직접적으로 조절할 수 있게 하며, 모델의 언어적 행동을 보다 정밀하게 특성화하는 결과를 가져옵니다. 8개의 이러한 의미 조각을 사용하는 우리의 실험은 두 가지 주목할 만한 발견을 보여줍니다: (a) 기존 NLI 벤치마크 데이터셋으로 사전 훈련된 BERT를 포함한 최첨단 모델이 이러한 새로운 조각에서 저조한 성능을 보이며, 여기서 탐구되는 현상은 NLI 작업의 중심입니다; (b) 반면에, 몇 분간의 추가 미세 조정을 통해, 신중하게 선택된 학습률과 “면역 접종”의 새로운 변형을 사용하여, BERT 기반 모델은 이러한 모든 논리 및 단조성 조각을 마스터할 수 있으며, 확립된 NLI 벤치마크에서의 성능을 유지합니다.