조건부 오디오 생성에서 공개 프롬프트 챌린지

텍스트-오디오 생성(TTA)은 텍스트 설명에서 오디오를 생성하며, 오디오 샘플 쌍과 수동 주석이 있는 텍스트에서 학습합니다. 그러나 사용자가 입력한 프롬프트는 TTA 모델 교육에 사용된 텍스트 설명과 비교할 때 종종 불완전하게 지정되어 있어 오디오 생성의 상용화가 어렵습니다. 본 연구에서는 TTA 모델을 "블랙박스"로 간주하고 사용자 프롬프트 문제를 두 가지 주요 통찰력으로 해결합니다: (1) 사용자 프롬프트는 일반적으로 불완전하게 지정되어, 사용자 프롬프트와 훈련 프롬프트 간의 큰 정렬 격차를 초래합니다. (2) TTA 모델이 더 높은 품질의 오디오 생성을 잘하는 오디오 설명의 분포가 존재하며, 이를 "오디오니스"라고 부릅니다. 이를 위해, 우리는 지침 조정 모델로 프롬프트를 재작성하고 오디오 개선을 위한 피드백 신호로서 마진 랭킹 학습을 통한 텍스트-오디오 정렬 활용을 제안합니다. 객관적 및 주관적 인간 평가 모두에서, 텍스트-오디오 정렬과 음악 오디오 품질 모두에서 뚜렷한 개선을 관찰했습니다.