Método de poda ponderada híbrido complejo para acelerar redes neuronales convolucionales

Resumen El creciente interés en la poda de filtros de redes neuronales convolucionales proviene de su capacidad inherente para comprimir y acelerar efectivamente estas redes. Actualmente, la poda de filtros se divide principalmente en dos enfoques: basado en normas y basado en relaciones. Estos métodos tienen como objetivo eliminar selectivamente los filtros menos importantes de acuerdo con reglas predefinidas. Sin embargo, las limitaciones de estos métodos radican en la consideración inadecuada de la diversidad de filtros y el impacto de las capas de normalización por lotes (BN) en la entrada de la siguiente capa, lo que puede llevar a una degradación del rendimiento. Para abordar las limitaciones anteriores de los métodos basados en normas y similitudes, este estudio realiza análisis empíricos para revelar sus desventajas y, posteriormente, introduce un innovador método de poda ponderada híbrido complejo. Al evaluar las correlaciones y normas entre filtros individuales, así como los parámetros de la capa BN, nuestro método identifica y poda de manera efectiva los filtros más redundantes, evitando así disminuciones significativas en el rendimiento de la red. Llevamos a cabo experimentos de poda completos y directos en diferentes profundidades de ResNet utilizando conjuntos de datos de clasificación de imágenes disponibles públicamente, ImageNet y CIFAR-10. Los resultados demuestran la notable eficacia de nuestro enfoque. En particular, al aplicarse a ResNet-50 en el conjunto de datos ImageNet, se logra una reducción significativa del 53.5% en operaciones de punto flotante, con una pérdida de rendimiento de solo 0.6%.