Aumento de Dados Baseado em Difusão Estável para Aprendizado Federado com Dados Não IID

A proliferação de dispositivos de borda trouxe o Aprendizado Federado (FL) para o centro das atenções como um paradigma promissor para treinamento de modelos descentralizados e colaborativos, preservando a privacidade dos dados dos clientes. No entanto, o FL enfrenta uma redução significativa de desempenho e má convergência quando confrontado com distribuições de dados Não Independentes e Identicamente Distribuídos (Não IID) entre os clientes participantes. Embora esforços anteriores, como mitigação de desvio de clientes e técnicas avançadas de fusão de modelos do lado do servidor, tenham mostrado algum sucesso em abordar esse desafio, frequentemente ignoram a causa raiz da redução de desempenho - a ausência de dados idênticos que espelhem com precisão a distribuição global de dados entre os clientes. Neste artigo, apresentamos o Gen-FedSD, uma abordagem inovadora que aproveita a poderosa capacidade de modelos de base texto-imagem de última geração para preencher as significativas lacunas de desempenho Não IID no FL. No Gen-FedSD, cada cliente constrói prompts textuais para cada rótulo de classe e utiliza um modelo de Difusão Estável pré-treinado e de última geração disponível no mercado para sintetizar amostras de dados de alta qualidade. Os dados sintéticos gerados são adaptados para as lacunas e disparidades de distribuição de dados locais únicas de cada cliente, tornando efetivamente os dados locais aumentados finais IID. Através de extensa experimentação, demonstramos que o Gen-FedSD alcança desempenho de última geração e economias significativas nos custos de comunicação em vários conjuntos de dados e configurações Não IID.