Key points are not available for this paper at this time.
A detecção de anomalias em vídeo (VAD) -- comumente formulada como um problema de aprendizado de múltiplas instâncias de maneira fraca supervisionada devido à sua natureza trabalhosa -- é um problema desafiador na vigilância por vídeo onde os quadros da anomalia precisam ser localizados em um vídeo não editado. Neste artigo, primeiro propomos utilizar os recursos visuais codificados por ViT do CLIP, em contraste com os recursos convencionais C3D ou I3D no domínio, para extrair eficientemente representações discriminativas na nova técnica. Em seguida, modelamos as dependências temporais e nomeamos os trechos de interesse aproveitando nossa proposta de Atenção Temporal (TSA). O estudo de ablação confirma a eficácia da TSA e da característica ViT. Os experimentos extensivos mostram que nosso CLIP-TSA proposto supera os métodos existentes de ponta (SOTA) por uma grande margem em três conjuntos de dados de referência comumente usados no problema de VAD (UCF-Crime, ShanghaiTech Campus e XD-Violence). O nosso código-fonte está disponível em https://github.com/joos2010kj/CLIP-TSA.
Joo et al. (Sex,) estudaram esta questão.