메타 학습을 통한 몇 Shot 명명 개체 인식

N-way K-shot 설정(즉, N 클래스마다 K개의 주석 샘플)에서의 몇 shot 학습은 관계 추출(예: FewRel) 및 이미지 분류(예: Mini-ImageNet)와 관련하여 널리 연구되어 왔습니다. 명명 개체 인식(NER)은 일반적으로 개체 클래스가 본질적으로 얽혀 있기 때문에 시퀀스 레이블 지정 문제로 프레임화됩니다. 문장에서 개체의 수와 클래스는 사전에 알려져 있지 않기 때문에 N-way K-shot NER 문제는 지금까지 탐구되지 않았습니다. 본 논문에서는 NER에 적합한 N-way K-shot 설정을 공식적으로 정의합니다. 그런 다음 FewNER, 즉 몇 shot NER을 위한 새로운 메타 학습 접근 방식을 제안합니다. FewNER은 전체 네트워크를 작업 독립 부분과 작업 특정 부분으로 나눕니다. FewNER 교육 중에 작업 독립 부분은 여러 작업을 가로질러 메타 학습되고, 작업 특정 부분은 저차원 공간에서 각 개별 작업에 대해 학습됩니다. 테스트 시점에서 FewNER은 작업 독립 부분을 고정하고 기울기 하강법을 통해 작업 특정 부분만 업데이트하여 새로운 작업에 적응합니다. 이로 인해 과적합에 덜 민감하고 더 계산적으로 효율적입니다. 대규모 말뭉치에 의존하여 전이성을 암시적으로 얻는 사전 훈련된 언어 모델(예: BERT 및 ELMo)과 비교할 때, FewNER은 메타 학습을 통해 '빠르게 적응하는 학습'의 능력을 명시적으로 최적화합니다. 결과는 FewNER이 세 가지 적응 실험(즉, 영역 내 교차 유형, 교차 도메인 내 유형 및 교차 도메인 교차 유형)에서 아홉 가지 기준 방법에 대해 유의미한 차이로 최첨단 성능을 달성했음을 보여줍니다.