Ist die Neuronabdeckung ein bedeutungsvolles Maß zur Testung tiefer neuronaler Netzwerke?

Jüngste Bemühungen, tiefe Lernsysteme zu testen, haben ein intuitives und überzeugendes Testkriterium hervorgebracht, das als Neuronabdeckung (NC) bezeichnet wird und das Konzept der traditionellen Codeabdeckung ähnelt. NC misst den Anteil der in einem neuronalen Netzwerk aktivierten Neuronen, und es wird implizit angenommen, dass eine höhere NC die Qualität eines Test-Suites verbessert. Um automatisch eine Test-Suite zu generieren, die die NC erhöht, entwerfen wir einen neuartigen Regularisierer zur Förderung der Diversität, der in bestehende adversarial Angriffsalgorithmen integriert werden kann. Wir bewerten dann, ob solche Versuche zur Erhöhung der NC eine Test-Suite generieren könnten, die (1) adversarial Angriffe erfolgreich erkennt, (2) natürliche Eingaben erzeugt und (3) unvoreingenommen gegenüber bestimmten Klassenvorhersagen ist. Entgegen der Erwartung zeigt unsere umfassende Bewertung, dass eine Erhöhung der NC tatsächlich die Erstellung einer effektiven Test-Suite erschwert: Höhere Neuronabdeckung führt zu weniger erkannten Defekten, weniger natürlichen Eingaben und voreingenommeneren Vorhersagepräferenzen. Unsere Ergebnisse wecken Skepsis, dass die Erhöhung der Neuronabdeckung möglicherweise kein bedeutendes Ziel zur Generierung von Tests für tiefe neuronale Netzwerke ist, und fordern eine neue Testgenerierungstechnik, die Defekterkennung, Natürlichkeit und Ausgabeunparteilichkeit in Kombination berücksichtigt.