DeMamba: Detecção de Vídeos Gerados por IA em Grande Escala no Benchmark GenVideo

Recentemente, as técnicas de geração de vídeo avançaram rapidamente. Dada a popularidade do conteúdo de vídeo nas plataformas de mídia social, esses modelos intensificam as preocupações sobre a disseminação de informações falsas. Portanto, há uma demanda crescente por detectores capazes de distinguir entre vídeos gerados por IA e falsos, mitigando o potencial dano causado por informações falsas. No entanto, a falta de conjuntos de dados em larga escala dos geradores de vídeo mais avançados representa um obstáculo para o desenvolvimento desses detectores. Para abordar essa lacuna, introduzimos o primeiro conjunto de dados de detecção de vídeo gerado por IA, GenVideo. Ele apresenta as seguintes características: (1) um grande volume de vídeos, incluindo mais de um milhão de vídeos gerados por IA e reais coletados; (2) uma rica diversidade de conteúdo gerado e metodologias, cobrindo um amplo espectro de categorias de vídeo e técnicas de geração. Realizamos estudos extensivos do conjunto de dados e propusemos dois métodos de avaliação adaptados para cenários semelhantes ao mundo real para avaliar o desempenho dos detectores: a tarefa de classificação de vídeo entre geradores avalia a generalizabilidade dos detectores treinados em geradores; a tarefa de classificação de vídeo degradado avalia a robustez dos detectores para lidar com vídeos que se degradaram em qualidade durante a disseminação. Além disso, introduzimos um módulo plug-and-play, chamado Detail Mamba (DeMamba), projetado para aprimorar os detectores identificando vídeos gerados por IA por meio da análise de inconsistências nas dimensões temporal e espacial. Nossos extensos experimentos demonstram a superior generalizabilidade e robustez do DeMamba no GenVideo em comparação com detectores existentes. Acreditamos que o conjunto de dados GenVideo e o módulo DeMamba avançarão significativamente o campo da detecção de vídeo gerado por IA. Nosso código e conjunto de dados estarão disponíveis em https://github.com/chenhaoxing/DeMamba.