적응하든지 아니면 뒤처지든지: BERT 언어 모델 파인튜닝을 통한 도메인 적응으로서의 구체적 목표 감정 분류

구체적 목표 감정 분류(ATSC)는 구체적 기반 감정 분석(ABSA)의 하위 작업으로, 전자 상거래와 같은 여러 응용 분야에서 리뷰의 데이터와 통찰력을 활용하여 기업과 고객을 위한 가치를 창출할 수 있습니다. 최근 깊은 전이 학습 방법이 ATSC를 포함한 수많은 자연어 처리(NLP) 작업에 성공적으로 적용되었습니다. 저희는 저명한 BERT 언어 모델을 바탕으로 두 단계 절차를 통해 ATSC에 접근합니다: 자기 감독형 도메인 특정 BERT 언어 모델 파인튜닝 및 감독형 작업 특정 파인튜닝. 도메인 특정 언어 모델 파인튜닝을 최대한 활용하는 방법에 대한 우리의 발견은 SemEval 2014 Task 4 레스토랑 데이터셋에서 새로운 최첨단 성능을 생산할 수 있게 해줍니다. 또한 모델의 실제 세계의 강인성을 탐색하기 위해 교차 도메인 평가를 수행합니다. 교차 도메인 적응된 BERT 언어 모델이 일반 BERT-base 및 XLNet-base와 같은 강력한 기준 모델보다 유의미하게 더 나은 성능을 보임을 보여줍니다. 마지막으로, 모델 예측 오류를 해석하기 위해 사례 연구를 수행합니다.