Hacia un Aprendizaje Federado Vertical con Pocos Etiquetas

El Aprendizaje Federado (FL) proporciona un paradigma novedoso para el aprendizaje automático que preserva la privacidad, permitiendo a múltiples clientes colaborar en el entrenamiento de modelos sin compartir datos privados. Para manejar datos heterogéneos de múltiples fuentes, se ha investigado extensamente el Aprendizaje Federado Vertical (VFL). Sin embargo, en el contexto de VFL, la información de la etiqueta tiende a estar concentrada en un cliente autoritario y es muy limitada. Esto plantea dos desafíos para el entrenamiento de modelos en el escenario de VFL. Por un lado, un número reducido de etiquetas no puede garantizar el entrenamiento de un buen modelo VFL con parámetros de red informativos, lo que resulta en límites poco claros para las decisiones de clasificación. Por otro lado, la gran cantidad de datos no etiquetados es dominante y no debe ser desestimada, y vale la pena centrarse en cómo aprovecharlos para mejorar las capacidades de modelado de representación. Para abordar los dos desafíos anteriores, primero introducimos una pérdida de contraste supervisada para mejorar la agregación intra-clase y el distanciamiento inter-clase, que consiste en explorar profundamente la información de las etiquetas y mejorar la efectividad de las tareas de clasificación posteriores. Luego, para los datos no etiquetados, introducimos un mecanismo de consistencia guiado por pseudo-etiquetas para inducir que los resultados de clasificación sean coherentes entre los clientes, lo que permite que las representaciones aprendidas por las redes locales absorban el conocimiento de otros clientes, y alivia el desacuerdo entre diferentes clientes para tareas de clasificación. Realizamos suficientes experimentos en cuatro conjuntos de datos comúnmente utilizados, y los resultados experimentales demuestran que nuestro método es superior a los métodos de última generación, especialmente en el escenario de baja tasa de etiquetas, y la mejora se vuelve más significativa.