Aprendizado de Máquina Linear Denso Acelerado por FPGA: Uma Troca de Precisão e Convergência

O descenso de gradiente estocástico (SGD) é um algoritmo comumente usado para treinar modelos de aprendizado de máquina linear. Baseado em álgebra vetorial, ele se beneficia do paralelismo inerente disponível em um FPGA. Neste artigo, apresentamos primeiro uma implementação de SGD em ponto flutuante de precisão simples em um FPGA que oferece desempenho similar ao de uma CPU de 10 núcleos. Em seguida, adaptamos o design para torná-lo capaz de processar dados de baixa precisão. Os dados de baixa precisão são obtidos a partir de um novo esquema de compressão chamado quantização estocástica, especificamente projetado para aplicações de aprendizado de máquina. Testamos tanto designs de precisão total quanto de baixa precisão em vários conjuntos de dados de regressão e classificação. Conseguimos um aumento de velocidade de treinamento de até uma ordem de magnitude ao usar dados de baixa precisão em comparação a um SGD de precisão total no mesmo FPGA e em uma solução de múltiplos núcleos de última geração, mantendo a qualidade do treinamento. Tornamos públicos os designs apresentados neste artigo.