이질적인 연합 학습을 위한 글로벌 프로토타입 증류

요약 연합 학습은 고품질 글로벌 모델을 협력적으로 훈련하는 것을 목표로 하는 분산 기계 학습 패러다임이며, 개인 교육 데이터는 분산 클라이언트에서 로컬에 유지됩니다. 그러나 클라이언트 간의 이질적인 데이터 분포는 연합 학습 시스템에 심각한 도전을 주며, 이는 모델의 품질에 심각한 손상을 줍니다. 이러한 문제를 해결하기 위해, 우리는 이질적인 연합 학습을 위한 글로벌 프로토타입 증류(FedGPD)를 제안하여 글로벌 모델의 성능을 향상시키고자 합니다. 직관적으로는 글로벌 클래스 프로토타입을 지식으로 활용하여 클라이언트 측의 로컬 훈련을 지시합니다. 결국, 로컬 목표는 글로벌 최적화와 일치하여 FedGPD가 개선된 글로벌 모델을 학습합니다. 실험 결과 FedGPD는 대표적인 벤치마크 데이터셋에서 평균 정확도 측면에서 0.22% ~ 1.28%의 차이를 보이며 이전의 최첨단 방법들을 능가함을 보여줍니다.