VoiceTailor: 확산 기반 개인화 텍스트-음성 변환을 위한 경량 플러그인 어댑터

우리는 사전 훈련된 확산 기반 TTS 모델에 개인화 어댑터를 장착하여 매개변수 효율적인 화자 적응 텍스트-음성 변환(TTS) 시스템인 VoiceTailor를 제안합니다. VoiceTailor는 가중치 변화 비율 분석을 기반으로 어댑터의 혜택을 보는 핵심 모듈을 식별합니다. 우리는 매개변수 효율적인 적응 방법으로 저랭크 적응(LoRA)을 활용하고, 사전 훈련된 확산 디코더의 핵심 모듈에 어댑터를 통합합니다. 적은 매개변수로 강력한 적응 성능을 달성하기 위해 화자 적응을 위한 다양한 안내 기술을 탐색하고 화자 정보를 강화하기 위한 최선의 전략을 조사합니다. VoiceTailor는 전체 매개변수의 0.25%만 미세 조정하여 기존 적응 TTS 모델과 유사한 화자 적응 성능을 보여줍니다. 또한, 데모에서 보인 바와 같이, VoiceTailor는 광범위한 실제 화자에게 적응할 때 강력한 강인성을 보여줍니다.