Ein Vergleich von neuralnetzbasierter Intrusionserkennung mit signaturbasierter Erkennung in IoT-Netzwerken

In den letzten Jahren wurden zahlreiche Arbeiten veröffentlicht, die maschinellen Lernen zur Intrusionserkennung nutzen. Die meisten dieser Arbeiten vergleichen jedoch ihre Ergebnisse nicht mit einer angemessenen Basislinie eines signaturbasierten Intrusionserkennungssystems, was gegen gute Praktiken im maschinellen Lernen verstößt. Um die Vor- und Nachteile des auf maschinellem Lernen basierenden Ansatzes zu bewerten, replizierten wir eine Forschungsstudie, die ein tiefes neuronales Netzwerkmodell zur Intrusionserkennung verwendet. Die Ergebnisse unserer replizierten Forschungsstudie zeigen mehrere systematische Probleme mit den verwendeten Datensätzen und Evaluierungsmethoden auf. In unseren Experimenten war ein signaturbasiertes Intrusionserkennungssystem mit minimalem Setup in der Lage, das getestete Modell selbst unter geringen Verkehrsänderungen zu übertreffen. Das Testen des replizierten neuronalen Netzwerks an einem neuen Datensatz, der in derselben Umgebung mit denselben Angriffen unter Verwendung derselben Werkzeuge aufgezeichnet wurde, zeigte, dass die Genauigkeit des neuronalen Netzwerks auf 54% fiel. Darüber hinaus konnte der oft behauptete Vorteil, Null-Tag-Angriffe erkennen zu können, in unseren Experimenten nicht festgestellt werden.