트윈BERT

사전 훈련된 언어 모델은 다양한 자연어 처리(NLP) 작업에서 큰 성공을 거두었으나, 우수한 성능은 높은 계산 자원을 요구하여 저지연 정보 검색(IR) 시스템에서의 적용을 방해합니다. 이 문제를 해결하기 위해 우리는 두 가지 개선 사항을 가진 트윈BERT 모델을 제안합니다: 1) 쌍둥이 구조의 인코더를 사용하여 쿼리와 문서를 별도로 표현하고 2) 각 인코더는 매개변수가 3분의 1 이하인 고도로 압축된 BERT 유사 모델입니다. 전자는 문서 임베딩을 오프라인으로 미리 계산하여 메모리에 캐시할 수 있게 하며, 이는 두 입력 문장이 함께 연결되고 인코딩되는 BERT와는 다른 점입니다. 이 변화는 많은 계산 시간을 절약하지만, BERT 모델 자체의 복잡성을 고려할 때 실시간 검색에는 여전히 충분하지 않습니다. 계산 비용을 추가로 줄이기 위해, 원래 복잡한 BERT 인코더의 대체물로 특별한 훈련 전략을 가진 압축된 다층 변환기 인코더가 제안되었습니다. 마지막으로, 검색 및 관련 작업에 맞게 쿼리와 키워드 임베딩을 결합하기 위해 두 가지 버전의 트윈BERT가 개발되었습니다. 이들 각각은 실시간 지연 요구 사항을 충족하며 BERT-Base 모델과 유사하거나 동일한 성능을 달성했습니다.