Pre-entrenamiento de voz cantada auto-supervisado hacia la conversión de voz a canto

La tarea de conversión de voz a canto (STS) siempre sufre de escasez de datos, ya que requiere datos emparejados de habla y canto. A esto se suman los desafíos de alineación de contenido y tono, y la calidad subóptima de las salidas generadas, presentando obstáculos significativos en la investigación STS. Este documento presenta SVPT, un enfoque STS potenciado por un modelo de pre-entrenamiento de voz cantada auto-supervisado. Aprovechamos las técnicas del modelo de lenguaje hablado para abordar el problema de alineación de ritmo y la capacidad de aprendizaje en contexto para lograr la conversión en zero-shot. Adoptamos estrategias de re-muestreo aleatorio de unidades discretas y corrupción de tono, permitiendo el entrenamiento con datos de canto no emparejados y mitigando así el problema de la escasez de datos. SVPT también sirve como una columna vertebral efectiva para la síntesis de voz cantada (SVS), ofreciendo información sobre la ampliación de modelos SVS. Los resultados experimentales indican que SVPT ofrece mejoras notables tanto en esfuerzos STS como SVS. Las muestras de audio están disponibles en https://speech2sing.github.io.