معمارية البيانات الكبيرة لمراقبة الأمان على نطاق واسع

يعد حركة المرور الشبكية مصدراً غنياً للمعلومات لمراقبة الأمان. ومع ذلك، فإن زيادة حجم البيانات التي يجب التعامل معها تثير قضايا، مما يجعل التحليل الشامل لحركة المرور الشبكية أمراً صعباً. في هذه الورقة، نقترح حلاً للتعامل مع الكمية الهائلة من البيانات التي يجب تحليلها من منظور مراقبة الأمان. نقدم معمارية مخصصة لمراقبة أمان الشبكات المحلية لرجال الأعمال. المجال التطبيقي لنظام كهذا هو في الأساس اكتشاف ومنع الاقتحام في الشبكات، ولكنه يمكن أن يُستخدم أيضاً للتحليل الجنائي. تدمج هذه المعمارية نظامين، أحدهما مخصص لتخزين البيانات الموزعة القابلة للتوسع وإدارتها، والآخر مخصص لاستغلال البيانات. يتم استخراج بيانات DNS، وسجلات NetFlow، وحركة المرور HTTP، وبيانات الفخ في نظام موزع يستفيد من أحدث حلول البيانات الكبيرة. تُقترح أنظمة ترابط البيانات ويتم تقييم أدائها مقارنة بالعديد من أطر البيانات الكبيرة المعروفة مثل Hadoop وSpark.