Uma Estrutura Unificada de Destilação de Conhecimento Assimétrica para Classificação de Imagens

Resumo A destilação de conhecimento é uma técnica de compressão de modelo que transfere o conhecimento aprendido por redes professoras para redes alunas. Os métodos existentes de destilação de conhecimento expandem muito as formas de conhecimento, mas também tornam os modelos de destilação complexos e simétricos. No entanto, poucos estudos exploraram as semelhanças entre esses métodos. Neste estudo, propomos uma estrutura de destilação concisa para unificar esses métodos e um método para construir a destilação de conhecimento assimétrica sob essa estrutura. A destilação assimétrica visa possibilitar transferências de conhecimento diferenciadas para diferentes objetos de destilação. Projetamos um método de bifurcação de ramificação rasa-larga em múltiplas etapas para destilar diferentes representações de conhecimento e uma estratégia de conjunto de agrupamento para supervisionar a rede a ensinar e aprender de forma seletiva. Consequentemente, realizamos experimentos utilizando benchmarks de classificação de imagens para verificar o método proposto. Os resultados experimentais mostram que nossa implementação pode alcançar melhorias consideráveis em relação aos métodos existentes, demonstrando a eficácia do método e o potencial da estrutura.