HGNAS: 엣지 디바이스를 위한 하드웨어 인식 그래프 신경망 아키텍처 탐색

그래프 신경망(GNN)은 최첨단(SOTA) 성능 덕분에 점 구름 처리와 같은 그래프 기반 학습 작업에서 점점 더 인기를 얻고 있습니다. 그럼에도 불구하고 연구 커뮤니티는 모델 표현력 향상에 주로 집중하여 실시간 요구 사항과 제한된 리소스가 있는 엣지 시나리오를 위한 효율적인 GNN 모델 설계에 대한 고려가 부족했습니다. 기존 GNN 모델을 조사하면 플랫폼 간 실행이 다양하고 빈번한 메모리 초과(Out-Of-Memory, OOM) 문제를 드러내어 하드웨어 인식 GNN 설계의 필요성을 강조합니다. 이러한 문제를 해결하기 위해 본 연구에서는 자원 제한 엣지 디바이스에 맞춘 새로운 하드웨어 인식 그래프 신경망 아키텍처 탐색 프레임워크, 즉 HGNAS를 제안합니다. 하드웨어 인식을 달성하기 위해, HGNAS는 GNN의 지연 시간 및 피크 메모리 사용량을 밀리초 단위로 평가하는 효율적인 GNN 하드웨어 성능 예측기를 통합합니다. 한편, 우리는 추론 중 GNN 메모리 사용량을 연구하고 피크 메모리 추정 방법을 제공하여 예측기 결과와 결합할 때 아키텍처 평가의 견고성을 향상시킵니다. 또한, HGNAS는 GNN 패러다임을 분리하여 극단적인 성능 아키텍처 탐색을 가능하게 하는 세분화된 설계 공간을 구성합니다. 게다가, 다단계 계층적 탐색 전략을 활용하여 방대한 후보 탐색을 수월하게 하여 단일 탐색 시간을 몇 GPU 시간으로 줄일 수 있습니다. 우리가 아는 한, HGNAS는 엣지 디바이스를 위한 최초의 자동 GNN 설계 프레임워크이며, 서로 다른 플랫폼에서 GNN의 하드웨어 인식을 달성한 최초의 연구입니다. 다양한 응용 프로그램 및 엣지 디바이스에 대한 광범위한 실험을 통해 HGNAS의 우수성이 입증되었습니다. HGNAS는 ModelNet40의 DGCNN과 비교하여 최대 10.6배의 속도 향상과 82.5%의 피크 메모리 감소를 달성할 수 있으며, 정확도 손실은 미비합니다.