Können Schwellen-Netzwerke direkt trainiert werden?

Neuronale Netzwerke mit Schwellenaktivierungsfunktionen sind aufgrund der einfachen Hardwareimplementierung äußerst wünschenswert. Die gängigen gradientenbasierten Lernalgorithmen können jedoch nicht direkt verwendet werden, um diese Netzwerke zu trainieren, da die Schwellenfunktionen nicht differenzierbar sind. In der Literatur verfügbare Methoden konzentrieren sich hauptsächlich darauf, die Schwellenaktivierungsfunktionen durch die Verwendung von Sigmoidfunktionen zu approximieren. In diesem Papier zeigen wir theoretisch, dass der kürzlich entwickelte Extreme Learning Machine (ELM)-Algorithmus verwendet werden kann, um die neuronalen Netzwerke mit Schwellenfunktionen direkt zu trainieren, anstatt sie mit Sigmoidfunktionen zu approximieren. Experimentelle Ergebnisse, die auf realen Benchmark-Regressionproblemen basieren, zeigen, dass die Generalisierungsleistung, die durch ELM erzielt wird, besser ist als die anderer Algorithmen, die in Schwellen-Netzwerken verwendet werden. Außerdem benötigt die ELM-Methode keine Steuerungsvariablen (manuell eingestellte Parameter) und ist wesentlich schneller.