연합 드롭아웃—자원 제한 장치에서 연합 학습을 가능하게 하는 간단한 접근법

연합 학습(FL)은 무선 네트워크에서 분산된 모바일 데이터를 사용하여 AI 모델을 훈련하는 인기 프레임워크입니다. 이 프레임워크는 학습 작업을 여러 엣지 장치에 분산시켜 데이터 병렬성을 특징으로 하며, 현지 데이터의 프라이버시를 유지하고자 합니다. 실제 FL에서 직면하는 주요 도전 과제 중 하나는 자원이 제한된 장치가 깊은 신경망 모델을 업데이트하는 계산 집약적인 작업에 어려움을 겪는 것입니다. 이 도전 과제를 해결하기 위해, 본 서신에서는 랜덤 모델 가지치기를 위한 고전적인 드롭아웃 방식을 기반으로 한 연합 드롭아웃(FedDrop) 스킴을 제안합니다. 구체적으로, FL 알고리즘의 각 반복에서, 여러 서브넷이 드롭아웃을 사용하여 서버의 글로벌 모델에서 독립적으로 생성되지만, 각 서브넷은 할당된 채널의 상태에 맞게 조정된 이질적인 드롭아웃 비율(즉, 매개변수 가지치기 확률)을 가지고 있습니다. 이 서브넷들은 업데이트를 위해 관련 장치에 다운로드됩니다. 따라서 FedDrop은 기존 FL에 비해 통신 오버헤드와 장치의 계산 부담을 줄이는 동시에, 과적합의 경우와 균일 드롭아웃(즉, 동일한 서브넷)을 사용하는 FL 스킴에 비해 성능을 향상시킵니다.