What question did this study set out to answer?

This research aims to compare machine learning algorithms based on URL features for phishing detection.

July 16, 2026Open Access

TF-IDF ve Yapısal Özelliklere Dayalı URL Tabanlı Kimlik Avı Tespitinde Makine Öğrenimi ve Ansambl Yöntemlerinin Karşılaştırmalı Analizi

ÜÖÜlkü ÖzmenAtatürk University EYEsra Odabaş YıldırımAtatürk University

Key Points

This research aims to compare machine learning algorithms based on URL features for phishing detection.
Experiment conducted on 549,346 URLs from the Phishing Site URLs dataset, obtaining 507,191 unique URLs after cleaning.
URLs were split into 80% training and 20% testing subsets while maintaining class ratio.
Evaluated models include Logistic Regression, Random Forest, XGBoost, and their probability-based soft-voting ensemble.
Logistic Regression achieved 97.33% accuracy and 0.94 F1 score, outperforming other models.
Ridge and soft-voting models showed F1 scores between 0.93 and 0.94, with ROC-AUC values reaching 0.99.
Findings indicate linear models provide effective differentiation in high-dimensional URL feature space for reliable phishing detection.

Abstract

Kimlik avı (phishing) saldırıları, kullanıcıların kimlik ve finansal bilgilerini hedef alan, hızla yaygınlaşan bir siber güvenlik tehdididir; bu nedenle saldırıların erken ve düşük maliyetle tespiti kritik önem taşımaktadır. Web sayfası içeriğinin analizine dayalı geleneksel yöntemler yüksek hesaplama maliyeti ve gecikme oluştururken, statik kara liste tabanlı yaklaşımlar yeni oluşturulan veya kısa ömürlü URL'ler karşısında yetersiz kalmaktadır. Bu çalışma, yalnızca URL bilgisinden yararlanan hibrit bir tespit hattı önermektedir: karakter düzeyindeki TF-IDF n-gram temsilleri; URL uzunluğu, sembol yoğunluğu, alt alan adı derinliği ve alan adı/TLD özellikleri gibi 30 yapısal göstergeyle birleştirilmektedir. Deneyler, 549.346 URL içeren Phishing Site URLs veri seti üzerinde yürütülmüş; tekrar eden ve geçersiz etiketli kayıtların temizlenmesiyle 507.191 benzersiz URL elde edilmiş, sınıf oranı korunarak %30'luk katmanlı bir alt küme (152.157 URL) %80 eğitim / %20 test biçiminde ayrılmıştır. Logistic Regression, SGDClassifier, RidgeClassifier, Complement Naive Bayes, Random Forest, LightGBM ve XGBoost modelleri ile bunların olasılık tabanlı soft-voting birleşimi değerlendirilmiştir. Sınıf dengesizliği doğrusal modellerde RandomOverSampler, ağaç tabanlı modellerde sınıf ağırlıklandırmasıyla ele alınmış; hiperparametreler katmanlı çapraz doğrulamayla (GridSearchCV ve RandomizedSearchCV) ayarlanmış ve karar eşikleri out-of-fold tahminler üzerinden F1 skorunu maksimize edecek biçimde optimize edilmiştir. Sonuçlar, Logistic Regression'ın %97,33 doğruluk ve 0,94 F1 ile en iyi sonucu verdiğini; Ridge ve soft-voting modellerinin de Bad sınıfı için 0,93–0,94 F1 aralığında, 0,99'a ulaşan ROC-AUC değerleriyle güçlü performans sergilediğini göstermektedir. Bulgular, yüksek boyutlu URL özellik uzayında doğrusal modellerin etkili bir ayrım sağladığını ve optimize edilmiş, yalnızca URL tabanlı bir hattın güvenilir ve düşük maliyetli kimlik avı tespiti sunabileceğini ortaya koymaktadır.

AI에게 질문

Bookmark

View Full Paper