Um Estudo sobre a Combinação de Metodologias Não Paralelas e Paralelas para Conversão de Voz Interlingual Mandarim-Inglês

Neste artigo, propomos um esquema de conversão de voz interlingual (VC) aproveitando metodologias não paralelas e paralelas. O objetivo da VC interlingual é transformar a voz de um falante de um conjunto de dados de uma língua na voz de outro falante de um conjunto de dados de uma língua diferente. Primeiro, dois métodos não paralelos são investigados separadamente, que são CycleGAN-VC2 e sonoros posteriores de fonemas (PPG) VC. Em segundo lugar, dois sistemas paralelos de VC diferentes são desenvolvidos para melhorar a qualidade do espectrograma de fala convertido, onde a fala de saída do VC não paralelo é usada para formar o par paralelo com a fala original correspondente. Focando em bancos de dados bilíngues Mandarim-Inglês, o esquema de VC proposto melhora a naturalidade da fala e a similaridade do falante em comparação com os métodos não paralelos de referência.