Esboço de Filtro para Poda de Rede

Propomos uma nova abordagem de poda de rede preservando informações dos pesos (filtros) da rede pré-treinada. A poda de rede com preservação de informações é formulada como um problema de esboço de matriz, que é resolvido eficientemente pelo método de direção frequente. Nossa abordagem, referida como FilterSketch, codifica a informação de segunda ordem dos pesos pré-treinados, o que permite que a capacidade de representação das redes podadas seja recuperada com um simples procedimento de ajuste fino. O FilterSketch não requer treinamento do zero nem otimização iterativa orientada por dados, resultando em uma redução de várias ordens de magnitude no custo de tempo na otimização da poda. Experimentos no CIFAR-10 mostram que o FilterSketch reduz 63,3% das operações de ponto flutuante (FLOPs) e poda 59,9% dos parâmetros da rede com um custo de precisão negligible para o ResNet-110. No ILSVRC-2012, reduz 45,5% dos FLOPs e remove 43,0% dos parâmetros com apenas 0,69% de queda na precisão para o ResNet-50. Nosso código e modelos podados podem ser encontrados em https://github.com/lmbxmu/FilterSketch .