초록 주관적 텍스트 분류 작업은 남용 탐지 및 입장 분석과 같은 작업에서 종종 높은 수준의 주석자 불일치로 어려움을 겪습니다. 기존 접근법은 이러한 불일치를 단일 진실로 통합하여 귀중한 감독 신호를 버립니다. 우리는 MO-WEL(다목적 가중 앙상블 학습)이라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 여러 목표 아래에서 앙상블 가중치와 크기를 공동 최적화하여 주석자 불일치를 명시적으로 활용합니다. 후보 예측기는 랜덤 샘플링 또는 주석자 특정 선택을 통해 얻은 다양한 레이블 프로젝션에서 훈련되며, 앙상블 가중치는 세 가지 보완 손실(F1 점수, 교차 엔트로피, 맨해튼 거리) 및 정규화 항에 대해 최적화됩니다. 네 개의 벤치마크 데이터 세트(ConvAbuse, HS-Brexit, MD-Agreement 및 ArMIS)에 대한 실험은 MO-WEL이 정확도, 보정 및 분포 정렬에서 강력한 기준선을 지속적으로 능가함을 보여줍니다. 사례 연구는 MO-WEL이 다수의 정확성을 소수 주석자 관점과 균형을 이루는 예측을 생성하여 해석 가능하고 신뢰할 수 있는 출력을 생산한다는 점을 추가적으로 보여줍니다. 우리의 발견은 주석자 다양성을 모델링하는 것의 중요성을 강조하며 주관적 NLP 작업에 불일치를 통합하는 원칙적인 방법으로 앙상블 최적화를 제안합니다.
Cui et al. (금요일) 이 질문을 연구했습니다.