Adicionando Semântica a Detectores para Recuperação de Vídeo

Neste artigo, propomos um método automático de recuperação de vídeo baseado em detectores de conceitos de alto nível. A pesquisa em análise de vídeo chegou ao ponto em que mais de 100 detectores de conceitos podem ser aprendidos de forma genérica, embora com desempenho misto. Tal conjunto de detectores ainda é muito pequeno em comparação com ontologias que visam capturar todo o vocabulário que um usuário possui. Nossa meta é construir uma ponte entre os dois campos, criando um tesauro multimídia, ou seja, um conjunto de detectores de conceitos aprendidos por máquina que é enriquecido com descrições semânticas e estrutura semântica obtidas do WordNet. Dada uma consulta multimodal do usuário, identificamos três estratégias para selecionar um detector relevante deste tesauro, a saber: correspondência de texto, consulta à ontologia e consulta visual semântica. Avaliamos os métodos em relação à tarefa de busca automática do benchmark de recuperação de vídeo TRECVID 2005, utilizando um arquivo de vídeo de notícias de 85 horas em combinação com um tesauro de 363 detectores de conceitos aprendidos por máquina. Avaliamos a influência do tamanho do tesauro no desempenho da busca de vídeo, avaliamos e comparamos as estratégias de seleção multimodal para detectores de conceitos e, finalmente, discutimos seu potencial combinado utilizando fusão oracle. O conjunto de consultas no corpus TRECVID 2005 é pequeno demais para que possamos ser definitivos em nossas conclusões, mas os resultados sugerem novas linhas de pesquisa promissoras.