Avaliação da Síntese de Texto para Fala a partir de um Modelo de Linguagem de Fala Baseado em Tokens Discretos

Avanços recentes na modelagem de linguagem generativa aplicados a tokens de fala discretos apresentaram uma nova avenida para a síntese de texto para fala (TTS). Esses modelos de linguagem de fala (SLMs), assim como seus equivalentes textuais, são escaláveis, probabilísticos e conscientes do contexto. Embora possam produzir saídas diversas e naturais, às vezes enfrentam problemas como incompreensibilidade e a inclusão de ruídos não linguísticos ou alucinações. À medida que a adoção desse paradigma inovador na síntese de fala aumenta, há uma clara necessidade de uma avaliação aprofundada de suas capacidades e limitações. Neste artigo, avaliamos o TTS de um SLM baseado em tokens discretos, por meio de métricas automáticas e testes de escuta. Examinamos cinco dimensões principais: estilo de fala, inteligibilidade, consistência do falante, variação prosódica, comportamento espontâneo. Nossos resultados destacam a força do modelo em gerar prosódia variada e saídas espontâneas. Também é avaliado como mais natural e adequado ao contexto em testes de escuta em comparação com um TTS convencional. No entanto, o desempenho do modelo em inteligibilidade e consistência do falante fica atrás do TTS tradicional. Além disso, mostramos que aumentar a escala dos SLMs oferece um modesto aumento na robustez. Nossas descobertas visam servir como um ponto de referência para futuros avanços em SLMs generativos para síntese de fala.