Normalización Iterativa: Más Allá de la Estandarización Hacia un Blanqueo Eficiente

La Normalización por Lotes (BN) se emplea de manera ubicua para acelerar el entrenamiento de redes neuronales y mejorar la capacidad de generalización al realizar estandarización dentro de mini-batches. La Normalización por Lotes Decorrelacionada (DBN) potencia aún más la efectividad anterior mediante el blanqueo. Sin embargo, DBN depende en gran medida de un tamaño de lote grande o de la descomposición en valores propios que sufre de mala eficiencia en GPUs. Proponemos la Normalización Iterativa (IterNorm), que emplea las iteraciones de Newton para un blanqueo mucho más eficiente, evitando simultáneamente la descomposición en valores propios. Además, desarrollamos un estudio integral para mostrar que IterNorm tiene un mejor equilibrio entre optimización y generalización, con apoyo teórico y experimental. Con este fin, introducimos exclusivamente la Perturbación de Normalización Estocástica (SND), que mide la incertidumbre estocástica inherente de las muestras cuando se aplica a operaciones de normalización. Con el apoyo de SND, proporcionamos explicaciones naturales a varios fenómenos desde la perspectiva de la optimización, por ejemplo, por qué el blanqueo grupal de DBN generalmente supera el blanqueo total y por qué la precisión de BN se degrada con tamaños de lote reducidos. Demostramos el rendimiento consistentemente mejorado de IterNorm con extensos experimentos en CIFAR-10 e ImageNet en comparación con BN y DBN.