AI 모델의 결과 품질이 빠르게 향상되면서, 연산 및 메모리 집약적인 AI 기반 애플리케이션은 현대 데이터센터 워크로드에서 큰 비중을 차지하고 있다. 증가하는 AI 워크로드 요구를 충족하기 위해, 데이터센터에서는 Neural Network(NN) 연산에 특화된 가속기들이 도입되고 있다. 그러나 AI 추론 서버는 NN 연산 외에도, 추론 요청과 응답을 송수신하기 위한 웹 서비스 기능, 그리고 애플리케이션 의존적 전·후처리 등과 같은 필수적인 인프라 연산들을 수행한다. 본 연구에서는 이러한 연산들을 AI Tax로 정의하고, Nvidia의 표준 AI 서빙 소프트웨어 스택을 사용하는 현대적 AI 추론 서버를 대상으로, 다양한 이미지 분류 모델에서 AI Tax가 미치는 영향을 정량적으로 분석한다. 분석 결과, AI Tax는 단독 NN 연산 대비 최대 55%의 성능 저하를 발생시키며, 평균적으로 약 25개의 CPU를 점유함을 확인했다.
Jeong et al. (Sat,) studied this question.