Algoritmo de aprendizado de rede neural paralelizável acelerado para reconhecimento de fala

Descrevemos um conjunto de algoritmos inovadores em modo batch que desenvolvemos recentemente como um componente chave no reconhecimento de fala baseado em rede neural profunda e escalável. A essência desses algoritmos é estruturar a rede neural de camada única de modo que os pesos da camada superior possam ser escritos como uma função determinística dos pesos da camada inferior. Essa estrutura é efetivamente explorada durante o treinamento, inserindo a função determinística na função objetivo de erro de mínimos quadrados ao calcular os gradientes. Técnicas de aceleração são ainda exploradas para fazer as atualizações de peso se moverem nas direções mais promissoras. Os experimentos na classificação de fonemas e estados fonéticos em nível de quadro TIMIT mostram resultados robustos. Em particular, a taxa de erro está caindo monotonamente à medida que o tamanho do minibatch aumenta. Isso demonstra o potencial dos algoritmos em modo batch propostos no reconhecimento de fala em grande escala, pois são facilmente paralelizáveis entre computadores. Palavras-chave: rede neural, escalabilidade, estrutura, restrições, aceleração FISTA, otimização, pseudoinversa, LSE ponderado, classificação de estado de fonema, reconhecimento de fala, aprendizado profundo.