크라우드소싱된 텍스트 단순화 분석

우리는 Simple English Wikipedia 기여자들이 협력적으로 수행한 텍스트 단순화 작업에 대한 연구를 제시합니다. 이 연구의 목적은 이 Wikipedia 버전을 포함하는 복잡-단순 병렬 코퍼스가 단순화 규칙을 유도하는 데이터 소스로 적합한지, 그리고 사람들에 의해 수행된 다양한 작업을 자동으로 분류할 수 있는지 이해하는 것입니다. 먼저 코퍼스의 하위 집합을 수동으로 분석하여 변환 작업을 식별했습니다. 그런 다음 이러한 변환을 기반으로 세그먼트를 자동으로 분류하려고 Machine Learning 모델을 구축했습니다. 이 분류는 예를 들어, 잠재적으로 노이즈가 있는 변환을 필터링하는 데 사용될 수 있습니다. 우리의 결과는 인간이 수행한 가장 일반적인 변환 작업이 패러프레이징(39.80%)과 정보 삭제(26.76%)이며, 이는 데이터에서 일반화하기 가장 어려운 작업 중 일부임을 보여줍니다. 이들은 또한 자동으로 식별하기 가장 어려운 작업이며, 모든 작업 중에서 가장 낮은 전체 분류기 정확도(각각 73% 및 59%)를 보입니다. 1