Ftrans

En el procesamiento del lenguaje natural (NLP), se propuso la arquitectura "Transformer" como el primer modelo de transducción que depende completamente de mecanismos de autoatención sin utilizar redes neuronales recurrentes (RNNs) alineadas por secuencia o convolución, logrando mejoras significativas para tareas de secuencia a secuencia. La introducción de cálculos intensivos y almacenamiento de estas representaciones de lenguaje preentrenadas ha impedido su popularidad en dispositivos con limitaciones de computación y memoria. La matriz de puertas programables en campo (FPGA) se utiliza ampliamente para acelerar algoritmos de aprendizaje profundo debido a su alto paralelismo y baja latencia. Sin embargo, los modelos entrenados siguen siendo demasiado grandes para acomodarse a una arquitectura FPGA. En este documento, proponemos un marco de aceleración eficiente, Ftrans, para representaciones de lenguaje a gran escala basadas en transformadores. Nuestro marco incluye una representación de pesos basada en matrices circulantes mejoradas (BCM) para permitir la compresión del modelo en representaciones de lenguaje a gran escala a nivel de algoritmo con poca degradación de precisión, y un diseño de aceleración a nivel arquitectónico. Los resultados experimentales muestran que nuestro marco propuesto reduce significativamente el tamaño del modelo de los modelos de NLP hasta 16 veces. Nuestro diseño FPGA logra una mejora de 27.07× y 81 × en rendimiento y eficiencia energética en comparación con CPU, y hasta 8.80× de mejora en eficiencia energética en comparación con GPU.