Parallele Algorithmen zur exakten Aufzählung von Aktivierungsbereichen tiefer neuronaler Netze

Ein Feedforward-neuronales Netzwerk, das rectified linear units verwendet, konstruiert eine Abbildung von Eingaben zu Ausgaben, indem es seinen Eingaberaum in eine Reihe konvexer Regionen partitioniert, wobei Punkte innerhalb einer Region eine einzelne affine Transformation teilen. Um zu verstehen, wie neuronale Netzwerke funktionieren, wann und warum sie versagen und wie sie mit biologischer Intelligenz verglichen werden, müssen wir die Organisation und Bildung dieser Regionen verstehen. Der erste Schritt besteht darin, Algorithmen zur exakten Regionenzählung in Netzwerken jenseits von Spielzeugbeispielen zu entwerfen und zu implementieren. In dieser Arbeit präsentieren wir parallele Algorithmen zur exakten Aufzählung in tiefen (und flachen) neuronalen Netzen. Unsere Arbeit hat drei Hauptbeiträge: (1) wir präsentieren ein neuartiges Algorithmus-Framework und parallele Algorithmen zur Regionszählung; (2) wir implementieren einen unserer Algorithmen auf verschiedenen Netzwerkarchitekturen und zeigen experimentell, wie die Anzahl der Regionen die Laufzeit bestimmt; und (3) wir zeigen anhand der Ausgabe unseres Algorithmus, wie die Dimension der affinen Transformation einer Region die weitere Partitionierung der Region durch tiefere Schichten beeinflusst. Soweit wir wissen, führen wir unseren implementierten Algorithmus auf Netzwerken aus, die größer sind als alle in der bestehenden Literatur zur Regionszählung verwendeten Netzwerke. Darüber hinaus zeigen wir experimentell die Bedeutung von Parallelität für die Regionszählung beliebig großer Netzwerke.