BPE Acústico para Geração de Fala com Tokens Discretos

Tokens de áudio discretos derivados de modelos de aprendizado auto-supervisionado ganharam ampla utilização na geração de fala. No entanto, a prática atual de utilizar diretamente os tokens de áudio apresenta desafios para a modelagem de sequência devido ao comprimento da sequência de tokens. Além disso, essa abordagem coloca a responsabilidade no modelo para estabelecer correlações entre os tokens, complicando ainda mais o processo de modelagem. Para abordar esse problema, propomos o BPE acústico, que codifica padrões frequentes de tokens de áudio utilizando codificação de pares de bytes. O BPE acústico reduz efetivamente o comprimento da sequência e aproveita as informações morfológicas prévias presentes na sequência de tokens, o que alivia os desafios de modelagem da correlação dos tokens. Através de investigações abrangentes em um modelo de linguagem de fala treinado com BPE acústico, confirmamos as vantagens notáveis que ele oferece, incluindo inferência mais rápida e capacidades aprimoradas de captura de sintaxe. Além disso, propomos um novo método de reavaliação para selecionar a fala sintética ideal entre vários candidatos gerados por um sistema TTS de rica diversidade. Experimentos provam que a seleção da reavaliação está intimamente alinhada com a preferência humana, o que destaca o potencial do BPE acústico para outras tarefas de geração de fala.