Key points are not available for this paper at this time.
우리는 시퀀스-투-시퀀스를 위한 디노이징 오토인코더인 BART를 제시합니다. BART는 (1) 임의의 노이징으로 텍스트를 손상시키고, (2) 원래 텍스트를 재구성하는 모델을 학습함으로써 훈련됩니다. 이것은 간단함으로 인해 BERT(인코더 때문)와 GPT(왼쪽에서 오른쪽으로 디코더) 및 최신의 여러 전처리 체계를 일반화하는 것으로 볼 수 있는 Transformer 기반 신경 기계 번역 아키텍처를 사용합니다. 우리는 여러 노이징 접근 방식을 평가했으며, 문장의 순서를 무작위로 섞고 단일 마스크 토큰으로 텍스트의 범위를 채우는 새로운 방식에서 최고의 성능을 보였습니다. BART는 텍스트 생성에 특히 효과적이지만, 이해 과제에도 잘 작동합니다. RoBERTa의 성능을 GLUE SQuAD에서 유사한 훈련 자원으로 유지하며, 발췌적 질문 응답 및 요약 작업에서 6까지의 향상을 달성했습니다. BART는 또한 목표 언어 전처리만으로 백 번역 시스템 기계 번역에 대해 1.1 BLEU 향상을 제공합니다. 우리는 또한 BART 내의 다른 전처리 체계를 복제하는 실험 결과를 보고하여, 어떤 요인이 최종 작업 성능에 가장 큰 영향을 미치는지 더 잘 측정합니다.
Lewis et al. (Tue,)은 이 질문을 연구했습니다.