FedTGP: 적응형 마진 향상 대조 학습을 통한 연합 학습의 데이터 및 모델 이질성에 대한 학습 가능한 글로벌 프로토타입

최근 이질적인 연합 학습(HtFL)은 이질적인 모델과 데이터를 지원할 수 있는 능력 덕분에 주목받고 있습니다. 모델 매개변수를 전송하는 높은 통신 비용을 줄이기 위해, HtFL의 주요 과제로 제안된 것은 이질적인 클라이언트 간에 클래스 대표, 즉 프로토타입만을 공유하면서 클라이언트 모델의 프라이버시를 유지하는 프로토타입 기반 HtFL 방법입니다. 그러나 이러한 프로토타입은 서버에서 가중 평균을 사용하여 단순히 글로벌 프로토타입으로 집계되며, 이는 최적이 아닌 글로벌 지식을 초래하고 클라이언트의 성능에 부정적인 영향을 미칩니다. 이러한 문제를 극복하기 위해, 우리는 서버에서 학습 가능한 글로벌 프로토타입(TGP)을 학습하기 위해 적응형 마진 향상 대조 학습(ACL)을 활용하는 새로운 HtFL 접근법인 FedTGP를 소개합니다. ACL을 포함함으로써, 우리의 접근 방식은 의미를 유지하면서 프로토타입 분리성을 향상시킵니다. 열두 개의 이질적인 모델을 사용한 광범위한 실험에서는 FedTGP가 프로토타입 기반 HtFL의 통신 및 프라이버시 이점을 유지하면서 최첨단 방법보다 최대 9.08%의 정확도로 능가함을 보여줍니다. 우리의 코드는 https://github.com/TsingZ0/FedTGP 에서 확인할 수 있습니다.