연합 학습에서 데이터 이질성을 해결하기 위한 건축 디자인 재고

연합 학습은 각 기관의 데이터를 비공개로 유지하면서 서로 다른 조직 간에 기계 학습 모델의 협력적 훈련을 가능하게 하는 새로운 연구 패러다임입니다. 최근 진전에도 불구하고 수렴 부족과 실제 이질적 장치에서의 재앙적 망각 가능성과 같은 근본적인 과제가 여전히 존재합니다. 본 논문에서는 셀프 어텐션 기반 아키텍처(예: 트랜스포머)가 분포 변화에 더 견고하게 대처하고 따라서 이질적 데이터에 대한 연합 학습을 개선함을 보여줍니다. 구체적으로, 우리는 다양한 연합 알고리즘, 실제 벤치마크, 이질적 데이터 분할에 걸쳐 서로 다른 신경망 아키텍처에 대한 첫 번째 철저한 실험적 조사를 수행했습니다. 우리의 실험 결과는 단순히 컨볼루션 네트워크를 트랜스포머로 대체하는 것이 이전 장치의 재앙적 망각을 크게 줄이고, 수렴 속도를 높이며, 특히 이질적 데이터를 다룰 때 더 나은 글로벌 모델에 도달할 수 있음을 보여줍니다. 우리는 강력한 아키텍처에 대한 향후 탐색을 장려하기 위해 코드와 사전 훈련된 모델을 공개합니다.