Función de activación basada en la inicialización de pesos y unidad lineal rectificada para mejorar el rendimiento de un modelo de red neuronal convolucional

Resumen Las Redes Neuronales Convolucionales (CNN) han tenido un gran impacto en la obtención de resultados de vanguardia en la clasificación de tareas de imágenes. La inicialización de pesos es uno de los pasos fundamentales en la formulación de un modelo de CNN. Determina el fracaso o el éxito del modelo de CNN. En este artículo, realizamos una investigación basada en el trasfondo matemático de diferentes estrategias de inicialización de pesos para determinar la que tiene un mejor rendimiento. Para tener un entrenamiento fluido, esperamos que la activación de cada capa del modelo de CNN siga la distribución normal estándar con media 0 y desviación estándar 1. Esto previene que los gradientes desaparezcan y conduce a un entrenamiento más fluido. Sin embargo, se obtuvo que incluso con la técnica de inicialización de pesos apropiada, una función de activación de Unidad Lineal Rectificada (ReLU) regular aumenta el valor medio de activación. En este artículo, abordamos este problema proponiendo la función de activación WIB-ReLU basada en la inicialización de pesos. El método propuesto resultó en un entrenamiento más fluido. Además, los experimentos mostraron que WIB-ReLU supera a ReLU, Leaky ReLU, ReLU paramétrica y funciones de activación de unidad lineal exponencial y resulta en una disminución de hasta el 20% en el valor de pérdida y un aumento del 5% en la puntuación de precisión en las bases de datos Fashion-MNIST y CIFAR-10.