새로운 감정 음성 데이터셋을 이용한 보이는 및 보이지 않는 감정 스타일 전이 음성 변환

감정 음성 변환은 언어적 내용과 화자의 정체성을 유지하면서 음성의 감정적 운율을 변환하는 것을 목표로 합니다. 이전 연구들은 원-핫 감정 레이블과 같은 이산 표현에 조건화된 인코더-디코더 네트워크를 사용하여 감정적 운율을 분리할 수 있음을 보여주었습니다. 이러한 네트워크는 고정된 감정 스타일 세트를 기억하도록 학습합니다. 본 논문에서는 변별적 자동 인코딩 Wasserstein 생성적 적대 신경망(VAW-GAN)을 기반으로 한 새로운 프레임워크를 제안하며, 이 프레임워크는 훈련 및 실행 시 감정 스타일 전이를 위해 사전 훈련된 음성 감정 인식(SER) 모델을 활용합니다. 이러한 방식으로 네트워크는 보이는 감정 스타일과 보이지 않는 감정 스타일을 새로운 발화로 전이할 수 있습니다. 우리는 제안된 프레임워크가 기본 프레임워크보다 일관되게 뛰어난 성능을 발휘함을 보여줍니다. 이 논문은 또한 여러 화자와 언어를 포함한 음성 변환을 위한 감정 음성 데이터셋(ESD)의 출시를 알립니다.