RankDVQA: VQA Profundo baseado em Treinamento Híbrido Inspirado em Ranking

Nos últimos anos, técnicas de aprendizado profundo mostraram um potencial significativo para melhorar a avaliação de qualidade de vídeo (VQA), alcançando uma correlação maior com opiniões subjetivas em comparação com abordagens convencionais. No entanto, o desenvolvimento de métodos de VQA profundo tem sido limitado pela disponibilidade restrita de bancos de dados de treinamento em larga escala e metodologias de treinamento ineficazes. Como resultado, é difícil para abordagens de VQA profundo alcançarem um desempenho superior consistente e uma boa generalização do modelo. Nesse contexto, este artigo propõe novos métodos de VQA baseados em uma metodologia de treinamento em duas etapas, o que nos motiva a desenvolver um banco de dados de treinamento de VQA em larga escala sem empregar sujeitos humanos para fornecer rótulos de verdade de referência. Esse método foi usado para treinar uma nova arquitetura de rede baseada em transformadores, explorando a classificação de qualidade de diferentes sequências distorcidas em vez de minimizar a diferença em relação aos rótulos de qualidade de verdade. Os métodos de VQA profundo resultantes (tanto para cenários de referência completa quanto sem referência), FR- e NR-RankDVQA, apresentam consistentemente uma correlação mais alta com a qualidade perceptual em comparação com os métodos convencionais e de VQA profundo de última geração, com valores médios de SROCC de 0,8972 (FR) e 0,7791 (NR) em oito conjuntos de teste sem realizar validação cruzada. O código-fonte das métricas de qualidade propostas e o grande banco de dados de treinamento estão disponíveis em https://chenfeng-bristol.github.io/RankDVQA.