Rumo ao Aprendizado Federado Vertical com Poucos Rótulos

O Aprendizado Federado (FL) fornece um novo paradigma para aprendizado de máquina que preserva a privacidade, permitindo que vários clientes colaborem no treinamento de modelos sem compartilhar dados privados. Para lidar com dados heterogêneos de múltiplas fontes, o Aprendizado Federado Vertical (VFL) tem sido amplamente investigado. No entanto, no contexto do VFL, as informações de rótulos tendem a ser mantidas em um único cliente autoritativo e são muito limitadas. Isso apresenta dois desafios para o treinamento de modelos no cenário VFL. De um lado, um pequeno número de rótulos não pode garantir o treinamento de um modelo VFL bem estruturado com parâmetros de rede informativos, resultando em limites pouco claros para decisões de classificação. Por outro lado, a grande quantidade de dados não rotulados é dominante e não deve ser descartada, sendo válido focar em como aproveitá-los para melhorar as capacidades de modelagem de representação. Para abordar os dois desafios anteriores, primeiro introduzimos a perda contrastiva supervisionada para melhorar a agregação intra-classe e o estranhamento inter-classe, que visa explorar profundamente as informações de rótulo e melhorar a eficácia das tarefas de classificação a montante. Em seguida, para dados não rotulados, introduzimos um mecanismo de consistência guiado por pseudo-rótulos para induzir resultados de classificação coerentes entre os clientes, permitindo que as representações aprendidas pelas redes locais absorvam o conhecimento de outros clientes e aliviando a discordância entre diferentes clientes para tarefas de classificação. Realizamos experimentos suficientes em quatro conjuntos de dados comumente usados, e os resultados experimentais demonstram que nosso método é superior aos métodos de ponta, especialmente no cenário de baixa taxa de rótulos, sendo a melhoria ainda mais significativa.