FeatherCNN: ARM 아키텍처에서 TensorGEMM을 이용한 빠른 추론 계산

딥 러닝은 연구에서 산업에 이르기까지 다양한 응용 분야에서 보편적으로 사용됩니다. 합성곱 신경망(CNN)의 시간 소모적인 반복 훈련에 비해, 추론은 상대적으로 가벼운 작업으로 모바일 장치에서 실행하기에 적합합니다. 그럼에도 불구하고, 낮은 대기 시간과 높은 계산 효율성은 복잡한 모델과 장기간 배터리 수명을 허용하는 데 중요합니다. 앞서 언급한 문제를 해결하기 위해 ARM CPU용 빠른 추론 라이브러리인 FeatherCNN을 제안합니다 - 모바일 장치의 성능 한계를 목표로 합니다. FeatherCNN은 세 가지 주요 기술을 사용합니다: 1) Winograd 합성곱을 가속화하기 위해 ARM CPU에서 매우 효율적인 TensorGEMM(일반화 행렬 곱셈) 루틴을 적용합니다. 2) 맞춤형 고성능 커널에 기반한 일반 레이어 최적화는 비-Winograd 레이어의 계산 효율성과 메모리 접근 패턴의 국소성을 향상시킵니다. 3) 프레임워크 설계는 중복 계산과 메모리 이동을 제거하기 위해 레이어 융합을 사용하는 레이어별 공동 최적화를 강조합니다. 성능 평가 결과 FeatherCNN은 최신 라이브러리보다 훨씬 향상된 성능을 보입니다. 64코어 ARM 서버에서 VGG-16의 순전파 패스는 각각 OpenBLAS를 사용하는 Caffe보다 48배, Eigen을 사용하는 Caffe2보다 14배, NNPACK보다 12배 더 빠릅니다. 추가적으로, FeatherCNN은 iPhone 7 플러스에서 최근 출시된 TensorFlow Lite 라이브러리보다 3.19배 더 빠릅니다. GEMM 성능 측면에서, FeatherCNN은 iPhone 7 플러스에서 Apple의 Accelerate 프레임워크보다 14.8%, Samsung Galaxy S8에서 Eigen보다 39.0% 더 높은 성능을 달성합니다. FeatherCNN 라이브러리의 소스 코드는 https://github.com/tencent/feathercnn에서 공개됩니다.