Destilação de conhecimento sem dados com síntese de características e consistência espacial para análise de imagens

Preocupações com privacidade e segurança restringem o acesso a conjuntos de dados de treinamento originais, apresentando desafios significativos para a compressão de modelos. A Destilação de Conhecimento Sem Dados (DFKD) surge como uma solução, visando transferir conhecimento das redes professoras para as redes estudantes sem acessar os dados originais. Os métodos DFKD existentes enfrentam dificuldades para gerar amostras sintéticas de alta qualidade que capturam as complexidades dos dados do mundo real, levando a uma transferência de conhecimento subótima. Além disso, essas abordagens muitas vezes falham em preservar os atributos espaciais da rede professora, resultando em aprendizado por atalho e generalização limitada. Para abordar essas questões, uma nova estratégia DFKD é proposta com três inovações: (1) um gerador DCGAN aprimorado com um módulo de atenção para sintetizar amostras com características micro-discriminativas melhoradas; (2) um mecanismo de Consistência de Região de Ativação Espacial em Múltiplas Escalas (MSARC) para replicar com precisão os atributos espaciais do professor; e (3) uma estrutura de aprendizado adversarial que cria um ambiente competitivo dinâmico entre as fases de geração e destilação. A avaliação rigorosa do método em vários conjuntos de dados de benchmark, incluindo CIFAR-10, CIFAR-100, Tiny-ImageNet e conjuntos de dados de imagens médicas como PathMNIST, BloodMNIST e PneumoniaMNIST, demonstra desempenho superior em comparação com métodos DFKD existentes. Especificamente, no CIFAR-100, a rede estudante atinge uma precisão de 77,85%, superando métodos anteriores como CMI e SpaceshipNet. No BloodMNIST, o método alcança uma precisão de 80,50%, superando o próximo melhor método em mais de 5%.