NLP 작업 간의 전이 가능성 탐색 및 예측

최근 NLP의 발전은 대규모 언어 모델을 훈련시키고 이를 하위 작업에 전이하는 효율성을 보여줍니다. 이러한 모델을 언어 모델링 이외의 작업에서 미세 조정하면 성능이 더 향상될 수 있을까요? 본 논문에서는 세 가지 광범위한 문제 범주(텍스트 분류, 질문 응답, 시퀀스 레이블링)에서 33개의 NLP 작업 간의 전이 가능성에 대한 광범위한 연구를 수행합니다. 우리의 결과는 전이 학습이 이전에 생각했던 것보다 더 유익하다는 것을 보여주며, 특히 목표 작업 데이터가 부족할 때 그렇고, 원천 작업이 작거나 목표 작업과 상당히 다를 때도 성능을 향상시킬 수 있습니다(예: 품사 태깅은 DROP QA 데이터셋에 잘 전이됩니다). 우리는 또한 특정 목표 작업에 대해 가장 전이 가능성이 높은 원천 작업을 예측하는 데 사용할 수 있는 작업 임베딩을 개발하였으며, 원천 및 목표 데이터 크기에 대해 통제된 실험에서 그 효과를 검증합니다. 전반적으로 우리의 실험은 원천 데이터 크기, 작업 및 도메인 유사성, 작업 복잡성과 같은 요소가 전이 가능성을 결정하는 데 모두 중요한 역할을 한다는 것을 밝혀냅니다.