Segmentação Multimodal para Modelagem do Trato Vocal

A modelagem precisa do trato vocal é necessária para construir representações articulatórias para processamento de fala e linguística interpretável. No entanto, a modelagem do trato vocal é desafiadora porque muitos articuladores internos estão ocultos das tecnologias externas de captura de movimento. A imagem por ressonância magnética em tempo real (RT-MRI) permite medir movimentos precisos de articuladores internos durante a fala, mas conjuntos de dados anotados de MRI são limitados em tamanho devido a métodos de rotulagem que consomem tempo e são computacionalmente caros. Primeiro, apresentamos uma estratégia de rotulagem profunda para o vídeo de RT-MRI usando uma abordagem de segmentação apenas visual. Em seguida, introduzimos um algoritmo multimodal que utiliza áudio para melhorar a segmentação de articuladores vocais. Juntos, estabelecemos um novo padrão para a modelagem do trato vocal na segmentação de vídeo de MRI e usamos isso para liberar rótulos para um conjunto de dados de RT-MRI com 75 falantes, aumentando a quantidade de dados públicos rotulados de RT-MRI do trato vocal em mais de um fator de 9. O código e os rótulos do conjunto de dados podem ser encontrados em rishiraij.github.io/multimodal-mri-avatar/.