예측 품질의 프록시를 통한 마스킹 언어 모델의 사회적 편향 측정

사회 및 정치 과학자들은 종종 텍스트 데이터 표현(임베딩)에서 뚜렷한 편향을 발견하고 측정하는 것을 목표로 합니다. 혁신적인 트랜스포머 기반 언어 모델은 맥락을 인식하는 토큰 임베딩을 생성하며 다양한 자연어 작업에서 최첨단 성능을 달성했지만 하류 응용을 위해 원하지 않는 편향을 인코딩하는 것으로 나타났습니다. 이 논문에서는 마스킹 언어 모델링 목표로 교육된 트랜스포머에 의해 인코딩된 사회적 편향을 제안된 프록시 함수를 사용하여 반복적 마스킹 실험에서 트랜스포머 모델의 예측 품질을 측정하고, 불리한 집단과 유리한 집단에 대한 MLM의 선호를 평가합니다. 우리는 두 개의 벤치마크 데이터셋을 사용하여 다른 평가 방법에 의해 생성된 편향 추정치와 비교하고, 고려된 MLM 전반에서 상대적으로 높은 종교 및 장애 편향을 발견했으며, 한 데이터셋에서 다른 데이터셋에 비해 낮은 성별 편향을 발견했습니다. 우리의 측정치는 인간 주석자와의 일치도에서 다른 측정치를 능가합니다. 우리는 마스킹 언어 모델링 목표 하에 MLM을 재교육한 후 도입된 사회적 편향을 평가하여 이전 연구를 확장하며, 제안한 측정이 트랜스포머 간의 편향 문장에 대한 상대적 선호의 보다 정확한 추정값을 생성함을 발견했습니다.