저자원 시퀀스 레이블링을 위한 다국어 다중 작업 아키텍처

우리는 시퀀스 레이블링을 위한 최소한의 라벨링된 데이터를 사용하여 감독 모델을 개발하기 위한 다국어 다중 작업 아키텍처를 제안합니다. 이 새로운 아키텍처에서는 두 개의 매개변수 공유 레이어를 사용하여 다양한 전이 모델을 결합합니다. 첫 번째 레이어에서는 모든 모델을 위한 보편적인 단어 표현 및 특징 추출 기능을 제공하기 위해 아키텍처의 기초를 구축합니다. 두 번째 레이어에서는 서로 다른 전이 계획에 대해 서로 다른 매개변수 공유 전략을 채택합니다. 이 아키텍처는 목표 작업을 위한 훈련 문장이 200개 미만일 때, 저자원 환경에서 특히 효과적임이 입증되었습니다. 이름 태깅을 목표 작업으로 사용했을 때, 우리의 접근 방식은 단일 언어 단일 작업 기준 모델에 비해 4.3%-50.5% 절대 F-점수 향상을 달성했습니다.