Rumo a Arquiteturas Não von Neumann Energéticamente Eficientes para Aprendizado Profundo

Os algoritmos de aprendizado profundo têm conquistado aplicações baseadas em aprendizado devido à sua precisão algorítmica na modelagem de padrões complexos, tarefas de classificação e problemas de previsão em uma ampla gama de aplicações, como processamento de imagem, direção autônoma, reconhecimento de padrões, etc. Isso se deve a vários fatores - capacidades computacionais aprimoradas com GPUs, tecnologias de memória melhoradas (processamento próximo aos dados, Memória de Alta Largura de Banda, Cubo de Memória Híbrida e memória não volátil) que nos permitiram romper a barreira da memória, aceleradores dedicados, implementações de FPGA e assim por diante. Como essas cargas de trabalho constituem principalmente a transferência de grandes conjuntos de dados entre a memória principal e a(s) estação(ões) de processamento, várias abordagens não von Neumann também foram implementadas por meio da computação em fluxo de dados, chips neuromórficos, máquinas baseadas em redes neurais em spike e outras tecnologias de computação inspiradas no cérebro. Embora esses avanços tecnológicos tenham melhorado a precisão dos algoritmos de aprendizado profundo e tornado possíveis as implementações neuromórficas e não von Neumann, desafios substanciais ainda permanecem. Do ponto de vista dos sistemas, não está claro como a eficiência energética do nível do sistema pode ser modelada, estimada e coordenada em arquiteturas de computação tão diversas. Além disso, uma grande classe de algoritmos de aprendizado profundo que se beneficiam desses avanços opera predominantemente em dispositivos de “borda”, como em carros autônomos, e, portanto, o consumo total de energia e a eficiência energética são de extrema importância. Este artigo faz as seguintes contribuições - apresentamos uma análise arquitetônica do aprendizado profundo e como eles se beneficiaram ao modelar seus algoritmos como fluxos de dados e representar os fluxos de dados como “neurônios”, e quando modelados como arquiteturas não von Neumann, melhoraram drasticamente o desempenho e a precisão dessas cargas de trabalho. Em seguida, apresentamos um panorama das diferentes implementações de CNN entre modelos von Neumann e não von Neumann. Subsequentemente, analisamos considerações sobre a eficiência energética em nível de sistema (modelos de energia, abstrações, metodologias de estimativa, padrões e benchmarks) para sistemas de aprendizado profundo construídos com arquiteturas e tecnologias tão diversas e discutimos alguns problemas abertos, desafios e oportunidades tanto para a indústria quanto para as comunidades de pesquisa.