Retro: Reutilizando a cabeça de projeção do professor para destilação eficiente de embeddings em Modelos Leves via Aprendizagem Autossupervisionada

A aprendizagem autossupervisionada (SSL) está ganhando atenção por sua capacidade de aprender representações efetivas com grandes quantidades de dados não rotulados. Modelos leves podem ser destilados de modelos maiores pré-treinados de forma autossupervisionada usando restrições contrastivas e de consistência. No entanto, os diferentes tamanhos das cabeças de projeção tornam desafiador para os alunos imitar com precisão o embedding do professor. Propomos o Retro, que reutiliza a cabeça de projeção do professor para os alunos, e nossos resultados experimentais demonstram melhorias significativas em relação ao estado da arte em todos os modelos leves. Por exemplo, ao treinar o EfficientNet-B0 usando ResNet-50/101/152 como professores, nossa abordagem melhora o resultado linear no ImageNet para 66,9%, 69,3% e 69,8%, respectivamente, com significativamente menos parâmetros.