Aprimoramento de Fala Escalável e Eficiente Usando Difusão Fria Modificada: Uma Abordagem de Aprendizado Residual

Introduzimos flexibilidade à estrutura de aprimoramento de fala baseada em aprendizado supervisionado para alcançar aprimoramento de fala escalável e eficiente (SESE). Para isso, o SESE realiza uma série de rotinas de inferência de aprimoramento de fala segmentadas, cada uma das quais melhora incrementalmente o resultado de sua inferência anterior. A formulação é conceitualmente semelhante à difusão fria, enquanto modificamos o processo de amostragem para que cada etapa se beneficie de uma tarefa de marco mais fácil em vez de mirar agressivamente na fala limpa. Além disso, os passos de aprimoramento incremental são aprendidos para recuperar o residual entre os marcos adjacentes, melhorando assim o desempenho geral do aprimoramento. Mostramos que o método proposto melhora o desempenho do modelo supervisionado de linha de base, enquanto necessita de menos etapas de difusão para alcançar um desempenho comparável ao do correspondente mais complexo com base na difusão fria. Além disso, a escalabilidade do SESE pode ser útil em aplicações onde uma interferência moderadamente suprimida não fala é preferida em relação a resultados de aprimoramento agressivos, por exemplo, aumentando o diálogo em trilhas sonoras de filmes, aprimoramento de fala em aparelhos auditivos, etc.