Key points are not available for this paper at this time.
연합 학습(FL)은 무선 네트워크에서 분산된 모바일 데이터를 사용하여 AI 모델을 훈련하는 인기 프레임워크입니다. 이 프레임워크는 학습 작업을 여러 엣지 장치에 분산시켜 데이터 병렬성을 특징으로 하며, 현지 데이터의 프라이버시를 유지하고자 합니다. 실제 FL에서 직면하는 주요 도전 과제 중 하나는 자원이 제한된 장치가 깊은 신경망 모델을 업데이트하는 계산 집약적인 작업에 어려움을 겪는 것입니다. 이 도전 과제를 해결하기 위해, 본 서신에서는 랜덤 모델 가지치기를 위한 고전적인 드롭아웃 방식을 기반으로 한 연합 드롭아웃(FedDrop) 스킴을 제안합니다. 구체적으로, FL 알고리즘의 각 반복에서, 여러 서브넷이 드롭아웃을 사용하여 서버의 글로벌 모델에서 독립적으로 생성되지만, 각 서브넷은 할당된 채널의 상태에 맞게 조정된 이질적인 드롭아웃 비율(즉, 매개변수 가지치기 확률)을 가지고 있습니다. 이 서브넷들은 업데이트를 위해 관련 장치에 다운로드됩니다. 따라서 FedDrop은 기존 FL에 비해 통신 오버헤드와 장치의 계산 부담을 줄이는 동시에, 과적합의 경우와 균일 드롭아웃(즉, 동일한 서브넷)을 사용하는 FL 스킴에 비해 성능을 향상시킵니다.
Wen et al. (Tue,)는 이 질문을 연구했습니다.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: