Key points are not available for this paper at this time.
Introduzida no final da década de 1980 para fins de generalização, a poda se tornou um elemento fundamental para comprimir redes neurais profundas. Apesar de muitas inovações nas últimas décadas, as abordagens de poda ainda enfrentam questões centrais que prejudicam seu desempenho ou escalabilidade. Inspirando-se em trabalhos iniciais na área, e especialmente no uso de decaimento de peso para alcançar esparsidade, introduzimos o Decaimento de Peso Seletivo (SWD), que realiza uma poda eficiente e contínua durante o treinamento. Nossa abordagem, teoricamente fundamentada na suavização lagrangiana, é versátil e pode ser aplicada a múltiplas tarefas, redes e estruturas de poda. Mostramos que o SWD se compara favoravelmente a abordagens de ponta, em termos de relação desempenho-parametros, nos conjuntos de dados CIFAR-10, Cora e ImageNet ILSVRC2012.
Tessier et al. (Sex,) estudaram esta questão.