Aproveitando o AudioLDM Pré-Treinado para Geração de Sons: Um Estudo de Referência

Redes neurais profundas recentemente alcançaram avanços significativos na geração de sons. Apesar da qualidade excepcional das amostras, os modelos atuais de geração de som enfrentam problemas em conjuntos de dados de pequena escala (por exemplo, sobreajuste), limitando significativamente o desempenho. Neste artigo, fazemos a primeira tentativa de investigar os benefícios do pré-treinamento na geração de sons com o AudioLDM, o modelo de ponta para geração de áudio, como base. Nosso estudo demonstra as vantagens do AudioLDM pré-treinado, especialmente em cenários de escassez de dados. Além disso, as linhas de base e o protocolo de avaliação para sistemas de geração de som não são consistentes o suficiente para comparar diretamente diferentes estudos. Com o objetivo de facilitar estudos adicionais em tarefas de geração de som, avaliamos a tarefa de geração de som em vários conjuntos de dados frequentemente utilizados. Esperamos que nossos resultados sobre aprendizado de transferência e referências possam servir de base para pesquisas futuras sobre geração de som condicional.