RefXVC: Conversão de Voz Interlingual com Informações de Referência Aprimoradas

Este artigo propõe o RefXVC, um método para conversão de voz interlingual (XVC) que utiliza informações de referência para melhorar o desempenho da conversão. Trabalhos anteriores em XVC geralmente utilizam uma média de incorporação de falante para condicionar a identidade do falante, o que não considera as mudanças de timbre de fala que ocorrem com diferentes pronúncias. Para abordar isso, nosso método usa tanto incorporações de falante globais quanto locais para capturar as mudanças de timbre durante a conversão de fala. Além disso, observamos uma conexão entre timbre e pronúncia em diferentes idiomas e utilizamos isso incorporando um codificador de timbre e uma rede de correspondência de pronúncia em nosso modelo. Além disso, encontramos que a variação nos tons não é adequadamente refletida em uma sentença e, portanto, usamos múltiplas referências para capturar melhor a gama da voz de um falante. O método proposto superou os sistemas existentes em termos de qualidade de fala e similaridade de falante, destacando a eficácia de aproveitar informações de referência na conversão de voz interlingual. As amostras de fala convertidas podem ser encontradas no site: http: //refxvc. dn3point. com