Desenvolvendo um aplicativo de aprendizado de línguas faladas assistido por IA para crianças

O Aprendizado de Línguas Assistido por Computador (CALL) é uma área em rápido desenvolvimento acelerada pelos avanços no campo da IA. Um sistema CALL bem projetado e confiável permite que os alunos pratiquem habilidades linguísticas, como pronúncia, a qualquer momento fora da sala de aula. Além disso, a gamificação por meio de aplicativos móveis apresentou resultados encorajadores em resultados de aprendizagem e motiva os jovens usuários a praticar mais e perceber o aprendizado de línguas como uma experiência positiva. Neste trabalho, adaptamos a mais recente tecnologia de reconhecimento de fala para fazer parte de um sistema de treinamento de pronúncia online para crianças pequenas. Como parte de nosso aplicativo móvel gamificado, nossos modelos avaliarão a qualidade da pronúncia de jovens crianças suecas diagnosticadas com Transtorno de Som da Fala e que estão participando de terapia da fala. Além disso, os modelos oferecem feedback para crianças pequenas não nativas que estão aprendendo a pronunciar palavras suecas e finlandesas. Nossos experimentos revelaram que esses novos modelos se encaixam em um jogo online, pois funcionam como reconhecedores de fala e avaliadores de pronúncia simultaneamente. Para tornar nossos sistemas mais confiáveis e explicáveis, investigamos se a combinação de algoritmos modernos de atribuição de entrada e transcrições alinhadas ao tempo pode explicar as decisões tomadas pelos modelos, nos dar insights sobre como os modelos funcionam e fornecer uma ferramenta para desenvolver soluções mais confiáveis.