CERT: 언어 이해를 위한 대조적 자기 지도 학습

BERT, GPT와 같은 pretrained 언어 모델은 언어 이해에 있어 큰 효과를 보여주었습니다. 기존의 사전 훈련 방법에서 보조 예측 과제는 대부분 토큰에 정의되어 있어 문장 수준의 의미를 잘 포착하지 못할 수 있습니다. 이 문제를 해결하기 위해, 우리는 CERT: 대조적 자기 지도 변환기 표현을 제안합니다. 이는 문장 수준에서 대조적 자기 지도 학습을 사용하여 언어 표현 모델을 사전 훈련합니다. CERT는 역 번역을 사용하여 원래 문장의 증강을 생성합니다. 그런 다음 두 개의 증강 문장이 동일한 문장에서 파생되었는지 예측하여 사전 훈련된 언어 인코더(예: BERT)를 미세 조정합니다. CERT는 사용하기 간단하며 어떤 사전 훈련-미세 조정 NLP 파이프라인에도 유연하게 통합될 수 있습니다. 우리는 CERT를 세 가지 언어 이해 과제: CoLA, RTE, QNLI에서 평가했습니다. CERT는 BERT보다 상당히 뛰어난 성능을 보입니다.