달려라, 걷지 마라: 더 빠른 신경망을 위한 높은 FLOPS 추구

빠른 신경망을 설계하기 위해 많은 연구들이 부동 소수점 연산(FLOP)의 수를 줄이는 데 집중하고 있습니다. 그러나 우리는 이러한 FLOP의 감소가 지연 시간의 비슷한 수준 감소로 이어지지 않는다는 것을 관찰합니다. 이는 주로 비효율적으로 낮은 초당 부동 소수점 연산(FLOPS)에서 비롯됩니다. 더 빠른 네트워크를 달성하기 위해, 우리는 인기 있는 연산자를 재검토하고 이러한 낮은 FLOPS가 주로 연산자의 빈번한 메모리 접근, 특히 깊이별 합성곱에 의한 것임을 보여줍니다. 따라서 우리는 중복 계산과 메모리 접근을 동시에 줄이는 더 효율적인 공간 특징을 추출하는 새로운 부분 합성곱(PConv)을 제안합니다. 우리의 PConv를 기반으로, 우리는 다양한 장치에서 정확도를 손상시키지 않으면서 다른 네트워크보다 실질적으로 더 높은 실행 속도를 달성하는 새로운 신경망 계열인 FasterNet을 더 제안합니다. 예를 들어, ImageNet-lk에서 우리의 작은 FasterNet-TO는 GPU, CPU 및 ARM 프로세서에서 각각 MobileViT-XXS보다 2.8×, 3.3× 및 2.4× 빠르며 2.9% 더 정확합니다. 우리의 큰 FasterNet-L은 신흥 Swin-B와 동등한 83.5%의 top-1 정확도를 달성하며, GPU에서 36% 더 높은 추론 처리량을 자랑하고 CPU에서 37%의 계산 시간을 절약합니다. 코드는 https://github.com/JierunChen/FasterNet에서 확인할 수 있습니다.