Key points are not available for this paper at this time.
최근, 짧은 오디오 프롬프트에서 모든 화자의 목소리를 합성할 수 있는 제로샷 텍스트-음성 변환(TTS) 시스템이 빠르게 발전하고 있습니다. 그러나 오디오 프롬프트에 노이즈가 포함되면 생성된 음성의 품질이 상당히 저하되며, 이 문제를 해결하기 위한 연구는 제한적입니다. 본 논문에서는 흐름 일치 기반 제로샷 TTS의 맥락에서 노이즈가 있는 오디오 프롬프트로부터 생성된 오디오의 품질을 향상시키기 위한 다양한 전략을 탐구하였습니다. 우리의 조사는 마스크된 음성 노이즈 제거를 통한 비지도 사전 학습, 다중 화자 탐지 및 DNSMOS 기반 데이터 필터링을 포함하는 포괄적인 훈련 전략을 포함하고 있으며, 무작위 노이즈 혼합을 통한 미세 조정도 포함됩니다. 실험 결과는 음성 향상 기법을 오디오 프롬프트에 적용한 방법에 비해 명료성, 화자 유사성 및 전반적인 오디오 품질에서 상당한 개선을 보여줍니다.
Wang et al. (Sun,)은 이 문제를 연구했습니다.