인공지능(AI), 특히 대형 언어 모델(LLM)과 비전-언어 모델(VLM)의 채택이 증가함에 따라 에너지 수요가 급격히 증가하고 있습니다. 대부분의 연구가 주로 훈련 및 추론 중의 에너지 소비를 평가하는 반면, 원거리 장치에서 AI 모델로 텍스트, 이미지 또는 비디오와 같은 컨텍스트 데이터를 전송하는 데 필요한 에너지는 종종 간과됩니다. 우리는 AI 추론에 대한 에너지 소비를 모델 수준과 네트워크 수준 모두에서 측정하고 분석합니다. 우리의 접근법은 애플리케이션 수준의 에너지 사용량을 추정하기 위해 결합된 크로스 레이어 및 인밴드 네트워크 텔레메트리 접근 방식을 활용합니다. 우리의 실험 결과는 특정 작업에 대해 네트워크에서 사용되는 에너지가 에너지 효율적인 AI 모델에서 사용되는 에너지와 동등할 수 있음을 보여줍니다. 또한 이러한 추론 워크플로우와 관련된 총 CO2 배출량도 추정하였습니다. 이러한 결과는 지속 가능한 AI 시스템 설계에 네트워크 소비 에너지를 포함시킬 필요성을 강조합니다.
Dandekar et al. (Mon,)이 이 질문을 연구했습니다.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: