TransAnomaly: 비디오 비정상 탐지를 위한 비디오 비전 변환기 사용

비디오 비정상 탐지는 비정상적인 사건이 무한하고, 드물며, 애매하고, 실제 장면에서 불규칙하기 때문에 어려운 과제입니다. 최근 몇 년 동안 변환기는 시퀀스 데이터에 대한 강력한 모델링 능력을 보여주었습니다. 따라서 우리는 변환기를 비디오 비정상 탐지에 적용하려고 합니다. 본 논문에서는 TransAnomaly라는 예측 기반 비디오 비정상 탐지 접근 방식을 제안합니다. 우리의 모델은 U-Net과 비디오 비전 변환기(ViViT)를 결합하여 보다 풍부한 시간 정보와 더 많은 글로벌 맥락을 포착합니다. 예측을 위해 ViViT를 최대한 활용하기 위해, 우리는 비디오 예측이 가능하도록 ViViT를 수정하였습니다. 벤치마크 데이터셋에 대한 실험 결과, 변환기 모듈의 추가가 비정상 탐지 성능을 향상시킨다는 것을 보여줍니다. 또한, 우리는 슬라이딩 윈도우로 정규성 점수를 계산하고 다양한 윈도우 크기와 보폭의 영향을 평가합니다. 적절한 설정을 통해 우리의 모델은 다른 최첨단 예측 기반 비디오 비정상 탐지 접근 방식보다 우수한 성능을 보입니다. 더욱이, 우리의 모델은 낮은 정규성 점수를 가진 패치의 위치를 추적하여 비정상을 로컬화할 수 있습니다.