자동화된 머신 러닝(AutoML)은 머신 러닝(ML) 파이프라인 설계를 자동화하여 AI 채택을 확대할 수 있는 유망한 패러다임으로 떠올랐습니다. 그러나 사이버 보안과 같은 복잡한 분야에서의 신뢰성은 아직 충분히 탐구되지 않았습니다. 본 논문은 11개의 공개 사이버 보안 데이터셋에 걸쳐 8개의 오픈 소스 AutoML 프레임워크를 체계적으로 평가하며, 여기에는 침입 탐지, 악성 코드 분류, 피싱, 사기 탐지 및 스팸 필터링이 포함됩니다. 결과는 도구와 데이터셋 간의 성능 변동성이 상당함을 보여 주며, 단일 솔루션이 일관되게 우수하다는 것은 없습니다. 패러다임의 전환이 관찰됩니다: 도전 과제는 개별 ML 모델 선택에서 가장 적합한 AutoML 프레임워크 식별로 이동하였으며, 이는 실행 효율성, 자동화 기능 및 지원되는 기능의 차이로 인해 복잡해졌습니다. AutoML 도구는 잘 작동하지만 과적합의 위험과 해석 가능성의 제한이 있는 트리 기반 모델을 자주 선호합니다. 주요 과제로는 적대적 취약성, 모델 드리프트 및 불충분한 특징 엔지니어링이 포함됩니다. 우리는 높은 위험의 사이버 보안 응용 프로그램을 위한 AutoML의 강인성, 해석 가능성 및 신뢰성을 강화하기 위한 모범 사례와 연구 방향으로 결론을 내립니다.
Saad et al. (Sun,)은 이 질문을 연구했습니다.