가우시안 혼합을 심층 신경망에 통합하기: 숨겨진 변수가 있는 소프트맥스 층

하이브리드 접근법에서 신경망 출력은 숨겨진 마르코프 모델(HMM) 상태 후방 확률 추정으로 직접 작용합니다. 이에 반해, 탐지 접근법에서는 신경망 출력을 입력 특성으로 사용하여 고전적인 가우시안 혼합 모델(GMM) 기반의 배출 확률 추정을 개선합니다. 본 논문은 GMM이 심층 신경망 프레임워크에 쉽게 통합될 수 있음을 보여줍니다. 로그-선형 혼합 모델(LMM)과의 동등성을 활용하여 GMM은 대형 소프트맥스 층과 이어지는 합산 풀링 층으로 변환될 수 있습니다. 이론적 및 실험적 결과는 공동으로 학습되고 최적으로 선택된 GMM과 병목 탐지 기능이 하이브리드 모델보다 더 나쁜 성능을 보이지 않는다는 것을 나타냅니다. 따라서 “하이브리드 대 탐지”라는 질문은 신경망의 출력 층을 최적화하는 것으로 단순화됩니다. 음성 인식 실험은 12개의 피드포워드 숨겨진 층을 사용하여 방영 뉴스 및 대화 작업에서 수행되며, 시그모이드 및 수정 선형 단위 활성화 함수를 사용합니다. LMM 층의 평가는 고전적인 소프트맥스 출력에 비해 인식 향상을 보여줍니다.