Una arquitectura FPGA completamente canalizada de una red neuronal artificial de Máquina de Boltzmann Restringida factorizada

Las redes neuronales artificiales (RNAs) son un objetivo natural para la aceleración de hardware por FPGAs y GPGPUs porque las aplicaciones a escala comercial pueden requerir días a semanas para entrenar usando CPUs, y los algoritmos son altamente paralelizable. Trabajos previos en FPGAs han demostrado cómo se puede utilizar el paralelismo de hardware para acelerar un algoritmo RNAs de "Máquina de Boltzmann Restringida" (RBM) y cómo distribuir el cálculo a través de múltiples FPGAs. Aquí describimos una arquitectura paralela completamente canalizada que explota el entrenamiento de "mini-lotes" (combinando muchos casos de entrada para calcular cada conjunto de actualizaciones de peso) para acelerar aún más el entrenamiento de RNAs. Implementamos en un FPGA, por primera vez según nuestro conocimiento, una variante más poderosa de la RBM básica, la "RBM Factorizada" (fRBM). La fRBM ha demostrado ser valiosa para aprender transformaciones y descubrir características que están presentes en múltiples tipos de entrada. Obtenemos (en simulación) una aceleración de 100 veces (vs. software en CPU) para una fRBM teniendo N = 256 unidades en cada uno de sus cuatro grupos (dos de entrada, uno de salida, un grupo intermedio de unidades) funcionando en un FPGA Virtex-6 LX760. Muchas de las características arquitectónicas que implementamos son aplicables no solo a las fRBMs, sino a las RBMs básicas y a otros algoritmos de RNAs de manera más amplia.