SPA-SVC: Aumento de Pitch Auto-supervisionado para Conversão de Voz Cantada

Modelos de conversão de voz cantada (SVC) baseados em difusão mostraram melhor qualidade de síntese em comparação com métodos tradicionais. No entanto, em cenários de SVC de domínio cruzado, onde há uma disparidade significativa de pitch entre os domínios de voz de origem e alvo, os modelos tendem a gerar áudios com rouquidão, apresentando desafios para alcançar saídas vocais de alta qualidade. Portanto, neste artigo, propomos um método de Aumento de Pitch Auto-supervisionado para Conversão de Voz Cantada (SPA-SVC), que pode melhorar a qualidade da voz em tarefas de SVC sem a necessidade de dados adicionais ou aumento de parâmetros do modelo. Introduzimos de forma inovadora uma estratégia de treinamento de deslocamento de pitch em ciclo e a perda de Índice de Similaridade Estrutural (SSIM) em nosso modelo de SVC, melhorando efetivamente seu desempenho. Resultados experimentais em conjuntos de dados públicos de canto M4Singer indicam que nosso método proposto melhora significativamente o desempenho do modelo tanto em cenários gerais de SVC quanto particularmente em cenários de SVC de domínio cruzado.