Lokaler Ausreißerfaktor zur Anomalieerkennung in HPCC-Systemen

Der lokale Ausreißerfaktor (LOF) ist ein unbeaufsichtigter Algorithmus zur Anomalieerkennung, der Anomalien erfasst, indem er die lokale Dichte eines Datenpunkts im Verhältnis zu seiner Nachbarschaft bewertet. Die Anomalieerkennung ist der Prozess des Auffindens von Anomalien in Datensätzen. Anomalien in Echtzeit-Datensätzen können auf kritische Ereignisse wie Bankbetrug, Datenkompromisse, Netzwerkbedrohungen usw. hinweisen. Dieses Papier befasst sich mit der Implementierung des LOF-Algorithmus auf der HPCC Systems-Plattform, die eine Open-Source-Distributed-Computing-Plattform für die Analyse großer Datenmengen ist. Ein verbesserter LOF wird ebenfalls vorgeschlagen, der Anomalien in Datensätzen, die reich an Duplikaten sind, effizient erkennt. Der Einfluss variierender Hyperparameter auf die Leistung des LOF wird in HPCC Systems untersucht. Dieses Papier untersucht die Leistung des LOF im Vergleich zu anderen Algorithmen wie COF, LoOP und kNN über mehrere Datensätze in den HPCC Systems. Darüber hinaus wird die Wirksamkeit des LOF über große Datenframeworks wie Spark, Hadoop und HPCC Systems hinweg bewertet, indem ihre Laufzeitleistungen verglichen werden.