Aprendizagem Incremental para Reconhecimento Automático de Fala de Ponta a Ponta

Neste artigo, propomos um método de aprendizagem incremental para Reconhecimento Automático de Fala (ASR) de ponta a ponta, que permite que um sistema ASR tenha um bom desempenho em novas tarefas enquanto mantém o desempenho nas tarefas originalmente aprendidas. Para mitigar o esquecimento catastrófico durante a aprendizagem incremental, projetamos uma nova destilação de conhecimento baseada em explicabilidade para modelos ASR, que é combinada com uma destilação de conhecimento baseada em resposta para manter as previsões do modelo original e a "razão" para as previsões. Nosso método funciona sem acesso aos dados de treinamento das tarefas originais, o que aborda os casos em que os dados anteriores não estão mais disponíveis ou o treinamento conjunto é caro. Resultados em uma tarefa de treinamento sequencial de múltiplas etapas mostram que nosso método supera os existentes na mitigação do esquecimento. Além disso, em dois cenários práticos, comparado ao método de treinamento conjunto referencial-alvo, a queda de desempenho do nosso método é de 0,02% na Taxa de Erro de Caracteres (CER), que é 97% menor do que as quedas dos métodos de base.