Batch-Normalisierung ist blind für die erste und zweite Ableitung des Verlusts

Wir beweisen, dass bei der Taylor-Reihenentwicklung der Verlustfunktion der BN-Vorgang den Einfluss des ersten Terms und den größten Teil des Einflusses des zweiten Terms des Verlusts blockiert. Wir stellen außerdem fest, dass ein solches Problem durch die Standardisierungsphase des BN-Vorgangs verursacht wird. Wir glauben, dass der Beweis des Blockierens bestimmter Verlustterme eine analytische Perspektive für potenzielle Defekte eines tiefen Modells mit BN-Operationen bietet, obwohl das Blockierungsproblem nicht vollständig gleichbedeutend mit erheblichen Schäden in allen Aufgaben auf Benchmark-Datensätzen ist. Experimente zeigen, dass der BN-Vorgang die Merkmalsdarstellungen in bestimmten Aufgaben erheblich beeinflusst.