텍스트 순위를 위한 사전 훈련 트랜스포머: BERT 및 그 이상의 모델

텍스트 순위의 목표는 쿼리에 응답하여 말뭉치에서 검색된 텍스트의 정렬된 목록을 생성하는 것입니다. 텍스트 순위의 가장 일반적인 공식화는 검색이지만, 이 작업의 예시는 많은 자연어 처리 응용 프로그램에서 발견될 수 있습니다. 곧 출간될 책을 기반으로 한 이 튜토리얼은 BERT가 가장 잘 알려진 예인 트랜스포머로 알려진 신경망 아키텍처를 사용한 텍스트 순위에 대한 개요를 제공합니다. 트랜스포머와 자기 지도 학습의 조합은 과장 없이 자연어 처리(NLP), 정보 검색(IR) 등의 분야를 혁신했습니다. 우리는 연구자와 실무자를 위한 단일 진입점으로 기존 작업을 종합하여 제공합니다. 우리의 범위는 다단계 순위 아키텍처에서 재순위를 수행하는 트랜스포머 모델과 직접적으로 순위를 수행하는 학습된 밀집 표현으로 두 가지 범주로 나뉩니다. 긴 문서를 처리하는 기술과 효과(결과 품질)와 효율(쿼리 대기 시간) 간의 트레이드오프를 해결하는 기술이라는 두 가지 주제가 우리의 논의를 관통합니다. 트랜스포머 아키텍처와 사전 훈련 기법은 최근의 혁신이지만, 그 적용의 많은 측면은 잘 이해되고 있습니다. 그럼에도 불구하고 여전히 많은 오픈 연구 질문이 남아 있으며, 따라서 텍스트 순위를 위한 사전 훈련된 트랜스포머의 기초를 정리하는 것 외에도 미래를 예측하고자 합니다.