Destilação de Conhecimento Progressiva via Reparametrização do Processo Inverso de Difusão

A destilação de conhecimento visa transferir conhecimento do modelo professor para o modelo aluno, alinhando suas distribuições. A destilação em nível de características frequentemente usa a distância L2 ou suas variantes como função de perda, com base na suposição de que as saídas seguem distribuições normais. Isso representa um desafio significativo quando as lacunas de distribuição são substanciais, uma vez que essa função de perda ignora o termo de variância. Para abordar o problema, propomos decompor o objetivo de transferência em partes pequenas e otimizá-lo progressivamente. Este processo é inspirado em modelos de difusão, nos quais a distribuição de ruído é mapeada para a distribuição alvo passo a passo. No entanto, empregar diretamente modelos de difusão é impraticável no cenário de destilação devido ao seu pesado processo reverso. Para superar esse desafio, adotamos a técnica de reparametrização estrutural para gerar múltiplas características de aluno que aproximam as características do professor sequencialmente. As múltiplas características dos alunos são combinadas linearmente no tempo de inferência sem custo extra. Apresentamos experimentos extensivos realizados em vários cenários de transferência, como CNN-para-CNN e Transformer-para-CNN, que validam a eficácia da nossa abordagem.