Rumo a Redes Neurais Espinhadas Profundas Escaláveis, Eficientes e Precisas com Conexões Residuais Regressivas, Softmax Estocástico e Hibridização

Redes Neurais Espinhadas (SNNs) podem oferecer uma alternativa energeticamente eficiente para a implementação de aplicações de aprendizado profundo. Nos últimos anos, houve várias propostas focadas em métodos de treinamento supervisionado (conversão, descida de gradiente baseada em espinhos) e não supervisionado (plasticidade dependente do tempo dos espinhos) para melhorar a precisão das SNNs em tarefas de grande escala. No entanto, cada um desses métodos sofre com limitações de escalabilidade, latência e precisão. Neste artigo, propomos técnicas algorítmicas inovadoras de modificação da configuração da SNN com conexões residuais regressivas, softmax estocástico e ativações neuronais híbridas artificiais e espinhadas para melhorar a capacidade de aprendizado das metodologias de treinamento para obter precisão competitiva, ao mesmo tempo que proporcionam grandes ganhos de eficiência em relação a seus contrapartes artificiais. Note que contrapartes artificiais referem-se a redes neurais profundas/aprendizado profundo convencionais. Nossas técnicas se aplicam a arquiteturas VGG/Residual e são compatíveis com todas as formas de metodologias de treinamento. Nossa análise revela que as soluções propostas alcançam precisão próxima ao estado da arte com significativa eficiência energética e redução nos custos de parâmetros, resultando em melhorias de hardware em tarefas complexas de reconhecimento visual, como os conjuntos de dados CIFAR10 e Imagenet.