Explorando la Eficacia de la Normalización por Grupos en Modelos de Aprendizaje Profundo para la Clasificación de la Enfermedad de Alzheimer

La Normalización por Lotes es un enfoque importante para avanzar en el aprendizaje profundo, ya que permite que múltiples redes se entrenen simultáneamente. Surge un problema al normalizar a lo largo de la dimensión del lote porque el error de la N.L. aumenta significativamente a medida que el tamaño del lote disminuye debido a que las estimaciones de las estadísticas del lote son inexactas. Como resultado, las tareas de visión por computadora como la detección, segmentación y video, que requieren lotes pequeños basados en el consumo de memoria, no son adecuadas para utilizar la Normalización por Lotes en el entrenamiento de modelos más grandes y la transferencia de características. Aquí, exploramos la Normalización por Grupos como una alternativa sencilla a la Normalización por Lotes. La Normalización por Grupos es un método de normalización de canales en el cual cada grupo se divide en diferentes canales, y se calculan la media y la varianza correspondientes para cada grupo. Los cálculos de Normalización por Grupos son precisos en un amplio rango de tamaños de lote e independientes del tamaño del lote. Cuando se entrena utilizando una gran base de datos de ImageNet en ResNet-50, la N.G. logra una tasa de error muy baja del 10.6% en comparación con la Normalización por Lotes, cuando se utiliza un tamaño de lote más pequeño de solo 2. Para tamaños de lote habituales, el rendimiento de la N.G. es comparable al de la Normalización por Lotes, pero al mismo tiempo, supera otras técnicas de normalización. Implementar la Normalización por Grupos como una alternativa directa a la N.L. para combatir los serios desafíos que enfrenta la Normalización por Lotes en modelos de aprendizaje profundo con precisión de clasificación comparable o mejorada. Además, la Normalización por Grupos se puede transferir de manera natural de la fase de preentrenamiento a la fase de ajuste fino.