Dança com Autoatenção: Um Novo Olhar sobre Campos Aleatórios Condicionais na Detecção de Anomalias em Vídeos

Este artigo propõe uma abordagem novel de detecção de anomalias fracamente supervisionada, que começa com um extrator de características ciente de relações para capturar as características da rede neural convolucional (CNN) em múltiplas escalas a partir de um vídeo. Em seguida, autoatenção é integrada com campos aleatórios condicionais (CRFs), o núcleo da rede, para aproveitar a capacidade da autoatenção de capturar as correlações de curto alcance das características e a habilidade dos CRFs em aprender as interdependências dessas características. Tal estrutura pode aprender não apenas as interações espaço-temporais entre os atores, que são importantes para detectar movimentos complexos, mas também suas dependências de curto e longo prazo entre os quadros. Além disso, para lidar com relações locais e não locais das características, uma nova variante de autoatenção é desenvolvida considerando um conjunto de cliques com diferentes localidades temporais. Além disso, um esquema de aprendizado contrastivo de múltiplas instâncias é considerado para ampliar a diferença entre as instâncias normais e anormais, resultando em uma discriminação anormal mais precisa. Simulações revelam que o novo método apresenta desempenho superior em relação aos trabalhos de ponta nos amplamente utilizados conjuntos de dados UCF-Crime e Shang-haiTech.