자연어 프롬프트를 이용한 텍스트 음성 변환에서 감정 제어

최근 몇 년 동안 프롬프트는 자연어의 직관적인 사용 덕분에 생성적 기계 학습 모델의 출력을 조정하는 표준 방법 중 하나로 빠르게 자리 잡았습니다. 이 작업에서는 프롬프트 역할을 하는 감정적으로 풍부한 텍스트에서 파생된 임베딩에 조건화된 시스템을 제안합니다. 이를 통해 발화자와 프롬프트 임베딩의 결합 표현이 변환기 기반 아키텍처 내 여러 지점에서 통합됩니다. 우리의 접근 방식은 병합된 감정 음성 및 텍스트 데이터셋으로 훈련되며, 각 훈련 반복에서 프롬프트를 변경하여 모델의 일반화 능력을 높입니다. 객관적이고 주관적인 평가 결과는 조건화된 합성 시스템이 프롬프트에 존재하는 감정을 음성으로 정확하게 전이할 수 있는 능력을 입증합니다. 동시에 발화자 신원의 정확한 추적성과 전반적인 높은 음성 품질 및 이해 가능성을 유지합니다.