A geração de texto-para-música (TTM), que converte descrições textuais em áudio, abre novas avenidas inovadoras para criação multimídia. Alcançar alta qualidade e diversidade neste processo exige dados extensos e de alta qualidade, que muitas vezes são escassos em conjuntos de dados disponíveis. A maioria dos conjuntos de dados de código aberto frequentemente sofre de problemas como formas de onda de baixa qualidade e baixa consistência texto-Áudio, dificultando o avanço dos modelos de geração musical. Para abordar esses desafios, propomos um novo paradigma de treinamento consciente da qualidade para gerar música de alta qualidade e alta musicalidade a partir de conjuntos de dados de grande escala e desequilibrados em qualidade. Além disso, aproveitando propriedades únicas no espaço latente dos sinais musicais, adaptamos e implementamos um modelo de transformer de difusão mascarada (MDT) para a tarefa de TTM, demonstrando sua capacidade de controle de qualidade e musicalidade aprimorada. Além disso, introduzimos uma abordagem de refinamento de legendas em três etapas para lidar com o problema de legendas de baixa qualidade. Experimentos mostram desempenho de estado-da-arte (SOTA) em conjuntos de dados de referência, incluindo MusicCaps e Song-Describer Dataset, com métricas objetivas e subjetivas. Amostras de áudio demo estão disponíveis em https://qa-mdt.github.io/, código e pontos de verificação pré-treinados estão disponíveis como código aberto em https://github.com/ivcylc/OpenMusic.
Li et al. (Mon,) estudaram esta questão.