대규모 어휘 음성 인식을 위한 장기 단기 기억 기반 합성곱 재발 신경망

장기 단기 기억(LSTM) 재발 신경망(RNN)은 모든 시퀀스 히스토리의 동적으로 변화하는 컨텍스트 윈도우를 학습하여 많은 음성 인식 작업에서 최첨단 성능을 보이는 것으로 나타났습니다. 반면에 합성곱 신경망(CNN)은 입력 신호의 스펙트럼 변동을 보다 잘 줄일 수 있어 깊은 전방향 신경망(FFNN)에 상당한 개선을 가져왔습니다. 본 논문에서는 CNN과 LSTM RNN을 결합하여 합성곱 재발 신경망(CRNN)이라고 불리는 네트워크 아키텍처를 제안합니다. 제안된 CRNN에서는 인접한 컨텍스트 프레임 없이 각 음성 프레임이 주파수 축을 따라 여러 개의 지역 특징 패치로 구성되며, 이후 시간 축을 따라 각 특징 패치에 대해 LSTM 네트워크가 수행됩니다. 우리는 다양한 구성 수에서 FFNN, LSTM RNN 및 제안된 LSTM CRNN을 훈련하고 비교합니다. 실험 결과는 LSTM CRNN이 최첨단 음성 인식 성능을 초과할 수 있음을 보여줍니다.