RefConv: Convolución de Reenfoque Reparameterizada para ConvNets Poderosos

Proponemos la convolución de reenfoque reparameterizada (RefConv) como un reemplazo para las capas de convolución regulares, que es un módulo plug-and-play para mejorar el rendimiento sin costos de inferencia. Específicamente, dado un modelo preentrenado, RefConv aplica una Transformación de Reenfoque entrenable a los núcleos base heredados del modelo preentrenado para establecer conexiones entre los parámetros. Por ejemplo, un RefConv a nivel de profundidad puede relacionar los parámetros de un canal específico del núcleo de convolución con los parámetros del otro núcleo, es decir, hacer que se reenfoquen en otras partes del modelo a las que nunca han prestado atención, en lugar de enfocarse solo en las características de entrada. Desde otra perspectiva, RefConv aumenta los priors de las estructuras de modelos existentes al utilizar las representaciones codificadas en los parámetros preentrenados como priors y reenfocándose en ellas para aprender nuevas representaciones, mejorando así aún más la capacidad representativa del modelo preentrenado. Los resultados experimentales validaron que RefConv puede mejorar múltiples modelos basados en redes neuronales convolucionales (CNN) por un margen claro en clasificación de imágenes (hasta un 1.47% de precisión top-1 más alta en ImageNet), detección de objetos, segmentación semántica y ataques adversariales sin introducir costos de inferencia adicionales o alterar la estructura original del modelo. Estudios adicionales demostraron que RefConv puede fortalecer los esqueletos espaciales de los núcleos, reducir la redundancia de los canales y suavizar el paisaje de pérdida, lo que explica su efectividad.