Execução Eficiente de Redes Convolucionais Temporais para Detecção de Palavras-Chave Incorporada

Recentemente, o uso de detecção de palavras-chave (KWS) tornou-se prevalente em dispositivos móveis. Algoritmos de aprendizado profundo de última geração, como redes convolucionais temporais (TCNs), foram aplicados a essa tarefa, alcançando resultados de precisão superiores. Esses modelos podem, no entanto, ser mapeados de múltiplas maneiras em dispositivos incorporados, variando de inferência em tempo real com ou sem aceleração computacional a inferência em lotes atrasada. Embora funcionalmente equivalentes, essas configurações de implementação impactam fortemente o consumo médio de energia e a latência dessa tarefa em tempo real, exigindo, portanto, uma otimização cuidadosa. Este trabalho analisa os desafios, benefícios e desvantagens dos diferentes modos de execução disponíveis para inferência KWS baseada em TCN em hardware dedicado. Com esse objetivo, esta pesquisa contribui para: 1) apresentar um acelerador de aprendizado profundo completo otimizado para inferência TCN; 2) avaliar o impacto no desempenho e na energia das diferentes opções de implantação para inferência TCN aplicada ao KWS, obtendo até 8 W para operação em tempo real; e 3) otimizar o consumo de energia em tempo real para inferência KWS explorando o uso de redes neurais (NNs) em cascata, alcançando até 35% de economia adicional de energia.