수직 연합 학습 하이브리드 로컬 사전 훈련

수직 연합 학습(Vertical Federated Learning, VFL)은 광범위한 실제 응용 프로그램을 가지고 있으며, 학계와 산업 모두에서 많은 주목을 받고 있습니다. 기업들은 다양한 부서의 동일한 사용자로부터 더 가치 있는 특성을 활용하여 모델 예측 능력을 향상시키고자 합니다. VFL은 이러한 수요를 충족시키면서 개별 당사자가 원시 데이터를 노출하는 것을 방지합니다. 그러나 기존의 VFL은 정렬된 샘플만 활용하므로 여러 당사자가 참여할수록 크기가 줄어들고, 데이터 부족 및 정렬되지 않은 데이터의 낭비가 발생하는 병목 현상이 발생합니다. 이 문제를 해결하기 위해 우리는 새로운 VFL 하이브리드 로컬 사전 훈련(VFLHLP) 접근 방식을 제안합니다. VFLHLP는 먼저 참여 당사자의 로컬 데이터에서 로컬 네트워크를 사전 훈련합니다. 그런 다음 이 사전 훈련된 네트워크를 이용하여 레이블이 있는 당사자에 대한 서브 모델을 조정하거나 하류 연합 학습에서 다른 당사자에 대한 표현 학습을 강화하여 정렬된 데이터의 연합 모델 성능을 향상시킵니다. 실제 광고 데이터 세트에 대한 실험 결과는 우리의 접근 방식이 기준 방법들에 비해 상당한 차이를 두고 최고의 성능을 달성함을 보여줍니다. 제거 연구는 VFLHLP의 각 기술이 전반적인 성능에 기여하는 바를 더욱 잘 설명합니다.