LVCSR에서 원시 시간 신호의 음향 모델링을 위한 합성곱 신경망

이 논문에서는 수작업으로 특징을 추출하지 않고 자동 음성 인식을 위한 딥 신경망(DNN) 기반 음향 모델을 훈련하는 방법을 계속해서 조사합니다. 이전에 우리는 원시 시간 신호에 직접 훈련된 단순한 완전 연결 피드포워드 DNN이 놀랍도록 잘 작동한다는 것을 보여주었습니다. 가중치 분석 결과, DNN은 음성 신호의 일종의 단기 시간-주파수 분해를 학습했음을 알 수 있었습니다. 전통적인 특징 추출 파이프라인에서는 인접 분석 창들 사이에서 공유되는 필터 뱅크를 통해 수동으로 수행됩니다. 이러한 아이디어를 따라, 우리는 수작업으로 제작된 특징에서 훈련된 DNN과 원시 시간 신호에서 훈련된 DNN 간의 성능 차이를 1D-합성곱 레이어를 도입함으로써 크게 줄일 수 있음을 보여줍니다. 따라서 DNN은 더 긴 시간 범위에 걸쳐 공유되는 단기 필터 뱅크를 학습하도록 강요받습니다. 이것은 또한 우리가 일반적인 합성곱 신경망에 의해 중요한 대역 에너지에서 학습된 2D 패치와 같은 방식으로 두 번째 합성곱 레이어의 가중치를 해석할 수 있게 합니다. 평가는 영어 LVCSR 작업에서 수행됩니다. 원시 시간 신호에서 훈련된 합성곱 레이어는 완전 연결 레이어를 사용하여 22.1%의 MFCC 기반 결과와 비교할 때 테스트 세트의 WER을 25.5%에서 23.4%로 줄일 수 있게 합니다. 색인 용어: 음향 모델링, 원시 시간 신호, 합성곱 신경망