위대한 시계열 분류 대회: 최근 알고리즘 발전에 대한 리뷰 및 실험적 평가

지난 5년 동안 문헌에서 제안된 새로운 시계열 분류 알고리즘이 다수 있습니다. 이러한 알고리즘은 캘리포니아대학교 리버사이드 캠퍼스의 시계열 분류 아카이브에 있는 47개 데이터 세트의 하위 집합에서 평가되었습니다. 최근 아카이브는 85개 데이터 세트로 확장되었으며, 이 중 절반 이상은 동영상을 제출한 동료 연구원들에 의해 기증되었습니다. 이전 평가의 여러 측면은 알고리즘 간 비교를 어렵게 만들었습니다. 예를 들어, 여러 다른 프로그래밍 언어가 사용되었고, 실험은 단일 학습/테스트 분할에 관련되어 있으며, 어떤 경우에는 정규화된 데이터를 사용할 때도 있었고 어떤 경우에는 아닌 경우도 있었습니다. 아카이브의 재출시는 더 많은 수의 데이터 세트에서 알고리즘을 철저히 평가할 수 있는 적시의 기회를 제공합니다. 우리는 최근에 제안된 18개의 알고리즘을 공통 Java 프레임워크에서 구현하고 85개 데이터 세트 각각에 대해 100번의 재샘플링 실험을 수행하여 두 개의 표준 벤치마크 분류기(서로 간에도)와 비교했습니다. 우리는 이러한 결과를 사용하여 알고리즘이 벤치마크보다 본질적으로 더 정확한지에 대한 여러 가설을 테스트했습니다. 우리의 결과는 이 알고리즘 중 아홉 개만이 두 벤치마크보다 본질적으로 더 정확하다는 것을 나타내며, 하나의 분류기인 변환 앙상블의 집합이 다른 모든 것보다 본질적으로 더 정확하다는 것을 보여줍니다. 우리의 모든 실험과 결과는 재현 가능합니다: 우리는 모든 코드, 결과 및 실험 세부정보를 공개하며, 이러한 실험이 미래의 새로운 알고리즘에 대한 보다 견고한 테스트의 기초가 되기를 바랍니다.