ReLU Adaptativo Basado en Competencia para Redes Neuronales Profundas

Las funciones de activación introducen no linealidad en las redes neuronales profundas. Las funciones de activación más populares permiten que los valores positivos pasen mientras bloquean o suprimen los valores negativos. Desde la idea de que los valores positivos y negativos son igualmente importantes y deben competir por la activación, proponemos un nuevo ReLU Adaptativo Basado en Competencia (CAReLU). CAReLU escala los valores de entrada en función de los resultados de la competencia entre valores positivos y negativos. Define dos parámetros para ajustar la estrategia de escalado y puede ser entrenado de manera uniforme con otros parámetros de la red. Verificamos la efectividad de CAReLU en tareas de clasificación de imágenes, super-resolución y procesamiento de lenguaje natural. En el experimento, nuestro método funciona mejor que otras funciones de activación ampliamente utilizadas. En el caso de reemplazar ReLU en ResNet-18 con nuestra función de activación propuesta, mejora la precisión de clasificación en el conjunto de datos CIFAR-100. La efectividad y la nueva perspectiva sobre la utilización de los resultados de competencia entre valores positivos y negativos hacen de CAReLU una función de activación prometedora.