FedSCR: 구조 기반 통신 감소를 위한 연합 학습

연합 학습은 엣지 장치가 사용자 개인 정보를 유출하지 않고 지역 데이터에서 공유 모델을 공동으로 훈련할 수 있게 합니다. 데이터 분포의 비독립적 동일 분포(Non-IID) 특성으로 인해 심각한 정확도 저하와 매개변수 집계에 대한 엄청난 통신 오버헤드가 발생하는 문제는 연합 학습에서 해결해야 합니다. 본 논문에서는 Non-IID 데이터셋에서의 매개변수 업데이트에 대한 상세 분석을 수행하고 IID 설정과의 차이를 비교합니다. 실험 결과는 매개변수 업데이트 행렬이 구조적으로 희소함을 보여주며, Non-IID 데이터에서 더 많은 그래디언트를 무시할 수 있는 업데이트로 식별할 수 있음을 나타냅니다. 결과적으로, 우리는 모델 정확도를 유지하면서 네트워크를 통해 전송되는 매개변수 수를 줄이는 구조 기반 통신 감소 알고리즘인 FedSCR을 제안합니다. FedSCR은 채널과 필터를 통해 매개변수 업데이트를 집계하고, 집계된 값과 임계값을 비교하여 중복 업데이트를 식별하고 제거합니다. 전통적인 구조적 가지치기 방법과는 다르게, FedSCR은 재훈련 및 미세 조정이 필요 없는 완전한 모델을 유지합니다. 각 장치의 로컬 손실과 가중치 발산은 불균형한 데이터 분포로 인해 크게 다릅니다. 우리는 Non-IID 데이터에서 모델 강인성을 향상시키기 위해 동적으로 제한된 임계값을 변경하는 적응형 FedSCR을 추가로 제안합니다. 평가 결과는 우리의 제안된 전략이 정확도 손실 없이 거의 50%의 업스트림 통신 감소를 달성함을 보여줍니다. FedSCR은 최첨단 연합 학습 알고리즘에 통합되어 글로벌 서버로 전송되는 매개변수 수를 극적으로 줄일 수 있습니다.