Avaliação de Pronúncia de Falantes Não Nativos de Inglês com Base em Transformer, Multiaspecto e Multigranular

A avaliação automática de pronúncia é uma tecnologia importante para ajudar aprendizes de idiomas autodirigidos. Embora a qualidade da pronúncia tenha múltiplos aspectos, incluindo precisão, fluência, completude e prosódia, esforços anteriores geralmente modelam apenas um aspecto (por exemplo, precisão) em uma única granularidade (por exemplo, no nível do fonema). Neste trabalho, exploramos a modelagem da avaliação de pronúncia multiaspecto em múltiplas granularidades. Especificamente, treinamos um Transformer baseado em características de Boa Pronúncia (GOPT) com aprendizado de múltiplas tarefas. Experimentos mostram que o GOPT alcança os melhores resultados no speechocean762 com um modelo acústico de reconhecimento automático de fala (ASR) treinado no Librispeech.