프로그램 변환 탐색으로서의 신경 구조 검색

딥 신경망(DNN)의 성능 향상은 컴파일러 및 신경 구조 검색(NAS) 커뮤니티 모두에게 중요합니다. 컴파일러는 하드웨어 병렬성과 메모리 계층을 활용하기 위해 프로그램 변환을 적용합니다. 그러나 적법성 문제로 인해 신경망의 자연적인 강건함을 활용하지 못합니다. 반면, NAS 기술은 합성곱의 그룹화나 병목 현상과 같은 작업을 통해 네트워크를 변형시켜 DNN의 회복력을 활용합니다. 본 연구에서는 이러한 신경 구조 작업을 표현 능력의 개념에 따라 법적 성격이 달라지는 프로그램 변환으로 표현합니다. 이를 통해 기존 변환과 결합하여 통합 최적화 프레임워크로 만들 수 있습니다. 이 통합은 기존 NAS 작업을 더 단순한 변환의 조합으로 표현할 수 있게 합니다. 중요한 것은 새로운 텐서 합성곱을 생성하고 탐색할 수 있게 해줍니다. 우리는 TVM에서 결합된 프레임워크의 프로토타입을 제작하였고, 추론 시간 및 NAS 검색 시간을 상당히 줄일 수 있었습니다.