Umgang mit dem Verschwinden des Gradientenproblems mit künstlichen Ableitungen

Die Sigmoidfunktion und ReLU sind gebräuchliche Aktivierungsfunktionen in neuronalen Netzen (NN). Allerdings ist die Sigmoidfunktion anfällig für das Verschwinden des Gradientenproblems, während ReLU ein spezielles Problem mit dem Verschwinden des Gradienten hat, das als das 'sterbende ReLU-Problem' bezeichnet wird. Obwohl viele Studien Methoden vorgeschlagen haben, um dieses Problem zu mildern, gab es keine effizient umsetzbare Lösung. Daher haben wir eine Methode vorgeschlagen, die die ursprüngliche Ableitungsfunktion auf relevante Weise durch eine künstliche Ableitung ersetzt. Unsere Methode optimierte die Gradienten der Aktivierungsfunktionen, ohne die Aktivierungsfunktionen zu verändern oder zusätzliche Schichten einzuführen. Unsere Untersuchungen zeigten, dass die Methode das Verschwinden des Gradientproblems sowohl für ReLU als auch für die Sigmoidfunktion effektiv mit geringen Rechenkosten lindern kann.