SumTra: 몇 샷 크로스-링구얼 요약을 위한 미분 가능한 파이프라인

크로스-링구얼 요약(XLS)은 입력 문서 언어와 다른 언어(예: 영어에서 스페인어로)로 요약을 생성하여, 목표 언어 사용자들이 그 내용을 간결하게 이해할 수 있도록 합니다. 현재 이 작업에 대한 지배적인 접근 방식은 성능이 우수한 pretrained 다국어 언어 모델(LM)을 사용하고 이를 관심 있는 언어 쌍을 위한 XLS에 맞게 미세 조정하는 것입니다. 그러나 미세 조정 샘플이 부족하여 이 접근 방식이 경우에 따라 어려움을 겪습니다. 이러한 이유로, 본 논문에서는 요약 및 번역 파이프라인을 재검토하는 것을 제안합니다. 여기서 요약 및 번역 작업은 순차적으로 수행됩니다. 이 접근 방식은 단일 언어 요약 및 번역을 위한 여러 공개 자원을 재사용할 수 있게 하여, 매우 경쟁력 있는 제로샷 성능을 얻습니다. 또한, 제안된 파이프라인은 완전히 미분 가능하며 엔드 투 엔드로, 사용 가능한 경우 몇 샷 미세 조정의 이점을 활용할 수 있습니다. 두 개의 현대적이고 널리 사용되는 XLS 데이터 세트(CrossSum과 WikiLingua)에 대한 실험은 제안된 접근 방식의 주목할 만한 제로샷 성능과 더불어, 동등한 다국어 LM 기준선과 비교했을 때 강력한 몇 샷 성능을 보여주었으며, 제안된 접근 방식이 미세 조정 샘플의 단 10%로 많은 언어에서 성능을 초과할 수 있었음을 나타냅니다.