피드포워드에서 반복 LSTM 신경망으로의 언어 모델링

언어 모델은 전통적으로 방대한 양의 텍스트 데이터에서 추출할 수 있는 카운트 통계를 사용하여 상대 빈도를 기반으로 추정되어 왔습니다. 최근에는 신경망이 단어 시퀀스에 대한 확률 분포를 추정하는 데 특히 강력하다는 것이 밝혀져, 최신 카운트 모델에 비해 상당한 개선을 제공합니다. 그러나 신경망 언어 모델의 성능은 그 구조적 형태에 강하게 의존합니다. 본 논문에서는 두 개의 대어휘 음성 인식 작업에서 카운트 모델과 피드포워드, 반복, 장기 단기 기억(LSTM) 신경망 변형을 비교합니다. 우리는 모델을 당혹감과 단어 오류율 측면에서 평가하며, 이 두 수량의 강한 상관관계가 기본적인 언어 모델 유형에 관계없이 유지된다는 것을 실험적으로 검증합니다. 또한, 신경망은 카운트 모델에 비해 계산 복잡성이 증가하며, 맥락 의존성을 다루는 방법이 다르므로 카운트 기반 접근 방식으로 고려되는 단어 수를 종종 초과합니다. 이러한 차이는 신경망을 위한 효율적인 탐색 방법이 필요하며, 대규모 설정에서 단어 격자 재점수에 고급 알고리즘을 적용할 때 얻을 수 있는 잠재적 개선을 분석합니다.