Destilação de Conhecimento Desacoplada

Os métodos de destilação de última geração são baseados principalmente na destilação de recursos profundos a partir de camadas intermediárias, enquanto a importância da destilação de logits é amplamente ignorada. Para fornecer um novo ponto de vista para estudar a destilação de logits, reformulamos a perda clássica de KD em duas partes, ou seja, destilação de conhecimento da classe-alvo (TCKD) e destilação de conhecimento da classe não-alvo (NCKD). Investigamos empiricamente e provamos os efeitos das duas partes: TCKD transfere conhecimento sobre a "dificuldade" das amostras de treinamento, enquanto NCKD é a razão proeminente pela qual a destilação de logits funciona. Mais importante ainda, revelamos que a perda clássica de KD é uma formulação acoplada, que (1) suprime a eficácia da NCKD e (2) limita a flexibilidade para equilibrar essas duas partes. Para resolver essas questões, apresentamos a Destilação de Conhecimento Desacoplada (DKD), possibilitando que TCKD e NCKD desempenhem seus papéis de maneira mais eficiente e flexível. Comparado a métodos baseados em recursos complexos, nosso DKD alcança resultados comparáveis ou até melhores e tem melhor eficiência de treinamento nos conjuntos de dados CIFAR-100, ImageNet e MS-COCO para tarefas de classificação de imagens e detecção de objetos. Este artigo prova o grande potencial da destilação de logits, e esperamos que seja útil para pesquisas futuras. O código está disponível em https://github.com/megviiresearch/mdistiller.