신경 확률 언어 모델 학습 가속을 위한 적응형 중요 샘플링

통계적 언어 모델링에 대한 이전 연구는 피드포워드 신경망을 훈련시켜 단어 시퀀스에 대한 확률을 근사할 수 있음을 보여주었으며, 이는 n-그램에 기반한 표준 기본 모델과 비교할 때 상당한 오류 감소를 가져왔습니다. 그러나 최대 우도 기준으로 신경망 모델을 훈련하는 것은 어휘의 단어 수에 비례하는 계산을 요구합니다. 본 논문에서는 모델 학습을 가속화하기 위한 방법으로 적응형 중요 샘플링을 소개합니다. 아이디어는 적응형 n-그램 모델을 사용하여 신경망이 생성하는 조건부 분포를 추적하는 것입니다. 우리는 표준 문제에서 매우 유의미한 속도 향상을 달성할 수 있음을 보여줍니다.