대규모 어휘 음성 인식을 위한 장단기 메모리 기반 순환 신경망 아키텍처

장단기 메모리(Long Short-Term Memory, LSTM)는 기존 순환 신경망(RNN)의 사라지는 기울기 및 폭발하는 기울기 문제를 해결하기 위해 설계된 순환 신경망 아키텍처입니다. 피드포워드 신경망과 달리 RNN은 순환 연결을 가지고 있어 시퀀스를 모델링하는 데 강력합니다. 이들은 손글씨 인식, 언어 모델링, 음향 프레임의 음성 레이블링과 같은 시퀀스 레이블링 및 시퀀스 예측 작업에 성공적으로 사용되었습니다. 그러나 깊은 신경망과 대조적으로, 음성 인식에서 RNN의 사용은 소규모 작업의 음소 인식으로 제한되어 있습니다. 본 논문에서는 대규모 어휘 음성 인식을 위한 음향 모델을 훈련하기 위해 모델 매개변수를 보다 효과적으로 사용하는 새로운 LSTM 기반 RNN 아키텍처를 제시합니다. 다양한 매개변수 수와 구성에서 LSTM, RNN 및 DNN 모델을 훈련하고 비교합니다. 우리는 LSTM 모델이 빠르게 수렴하며 상대적으로 작은 크기의 모델에 대해 최첨단 음성 인식 성능을 제공함을 보여줍니다.